Linux-kommandoer og Shell-færdigheder
wget: Det er downloaderen, der aldrig sover
wget er curl for job målt i timer: spejle, arkiver, rekursive pulls og cron-batches, der kører, mens ingen ser. Det gentager sig, respekterer robots.txt, genoptager afbrudte overførsler som standard og går i takt med hastighedsgrænser og venteintervaller, hvilket er en høflighedskrølle efterlader til den, der ringer. Mellem de to værktøjer er opdelingen ren: wget for bulk og tålmodighed, curl for præcision, og et team, der kender begge, har sjældent brug for en tredje installatør.
Vigtige pointer
- Spejling er én linje: wget --mirror --convert-links --adjust-extension --no-parent https://docs.example.com; udelad --no-parent og et dokumentationsarkiv bliver stille og roligt en gennemgang af alt over det.
- Genoptag og prøv igen gratis: wget -c vælger en afbrudt overførsel tilbage, og --tries=10 --waitretry=5 kører servere ud, der hikker midt i bulk i stedet for at fejle jobbet ved første twitch.
- Høflighed har flag: --limit-rate=200k, --wait=1 og --random-wait forhindrer et spejl i at udløse upstream-hastighedsgrænser eller en delt server-misbrugsklausul; delt hosting plus en ukontrolleret crawler er et kort venskab.
- robots.txt respekteres som standard; -e robots=off tilsidesætter det bevidst, og at bruge denne tilsidesættelse mod en andens produktionssted er, hvordan massedownloads bliver til hændelsesbilletter.
- wget -O /dev/null -nv https://host/health er en one-line overvågningssonde, hvis exitkoder bærer diagnosen: 4 er en netværksfejl, 8 er en serverfejl, og begge slår en lydløs cron.
- Konvertering betyder noget efter kendsgerningen: --convert-links omskriver et spejlet websted til offline navigation, og --adjust-extension gemmer CMS-genererede sider under udvidelser, som lokale værktøjer kan tjene.
- Massejob i cron får låsefiler, eller overlappende kørsler skriver ind i hinandens halvfærdige filer, mens --waitretry stille og roligt strækker jobbet forbi sit vindue; wget har ingen intern mutex.
- Kend grænsen: formularer, cookie-tunge sessioner og API-slutpunkter hører til curl, og JavaScript-byggede sider spejler sig som tomme skaller, fordi wget følger links, ikke scripts.
Note fra marken
Et spejl uden --ingen forældre vandrede ind i fyrre gigabyte af en klients mediebibliotek natten over og fyldte næsten disken. Høflighedsflagene sættes én gang og kopieres for evigt efter.
Ofte stillede spørgsmål
Hvorfor indeholder mit spejl kun én side?
Scope-flag gjorde det arbejde, nogen havde til hensigt at fortryde: robots.txt-begrænsninger, --no-parent, en dybdebegrænsning eller webstedet, der blev JavaScript-gengivet. wget følger links, den kan se; tjek -o wget.log før du giver værktøjet skylden.
Hvornår skal jeg vælge wget frem for curl for en enkelt download?
For alt, der kan genoptages eller cron-pålideligt: -c fortsættelse, indbyggede genforsøg og tidsstempling (--tidsstempling) gør wget til valget med lav opmærksomhedsspændvidde; curl giver dig kun det samme, hvis du selv samler det.
Er det lovligt eller høfligt at spejle et offentligt websted?
Ejerskab afgør lovligt, robots.txt og load beslutter høfligt: respekter robots-filen, skru ned til en menneskelig hastighed, og foretræk en officiel eksport eller API i det øjeblik, målet tilbyder en.
Hvorfor returnerer nogle websteder 403 til almindeligt wget?
Bruger-agent-filtrering, normalt bevidst; --user-agent='Mozilla/5.0' får dig igennem, men en filtreret 403 betyder også, at operatøren ser, så en dialog eller en API er det bedste næste skridt.
Sådan hjælper Kinetikatech med linux-kommandoer og shell-færdigheder
Du behøver ikke blive ekspert i linux-kommandoer og shell-færdigheder: De kommandoer og scriptvaner, der afgør, om en administrator driver en server eller bekæmper den: søg, transformer, overfør og overvåg tekst og processer med de værktøjer, der findes i enhver basisinstallation. Det er præcis derfor, Sikkerhed på Linux-servere og Serveradministration findes: idriftsættelse, hærdning, overvågning og en mand på vagt dag og nat.