Linux komandos ir apvalkalo įgūdžiai
wget: It is atsisiuntimo programa, kuri niekada nemiega
„wget“ yra „curl“, skirta valandomis matuotiems darbams: veidrodžiams, archyvams, rekursyviems ištraukimams ir cron paketams, kurie vykdomi, kol niekas nežiūri. Jis kartojasi, gerbia robots.txt, atnaujina pertrauktus perkėlimus pagal numatytuosius nustatymus ir nustato greičio apribojimus bei laukimo intervalus, o tai skambinančiajam paliekama mandagumo užuomina. Dviejų įrankių padalijimas yra aiškus: wget, skirtas masinėms ir kantrybei, curl tikslumui, o komandai, kuri išmano abu, retai prireikia trečio montuotojo.
Pagrindiniai punktai
- Veidrodis yra viena eilutė: wget --mirror --convert-links --adjust-extension --no-parent https://docs.example.com; praleisti --no-parent ir dokumentų archyvas tyliai virsta viskuo, kas yra virš jo.
- Tęskite ir bandykite dar kartą nemokamai: wget -c parenka nutrūkusį perkėlimą atgal, o --tries=10 --waitretry=5 pašalina serverius, kurie užklumpa vidutiniškai, užuot sugedę darbo pirmą kartą.
- Mandagumas turi vėliavėles: --limit-rate=200k, --wait=1 ir --random-wait neleiskite veidrodžiui sugadinti prieš srovę taikomų greičio apribojimų arba bendro serverio piktnaudžiavimo sąlygos; bendras priegloba ir neribotas tikrinimas yra trumpa draugystė.
- robots.txt yra laikomasi pagal numatytuosius nustatymus; -e robots=off jį nepaiso sąmoningai, o naudojant šį nepaisymą kieno nors kito gamybos vietoje masiniai atsisiuntimai virsta incidentų bilietais.
- wget -O /dev/null -nv https://host/health yra vienos eilutės stebėjimo zondas, kurio išėjimo kodai atlieka diagnozę: 4 yra tinklo gedimas, 8 yra serverio klaida ir abu įveikia tylųjį croną.
- Konvertavimas yra svarbus po to: --convert-links perrašo veidrodinę svetainę, kad būtų galima naršyti neprisijungus, o --adjust-extension išsaugo TVS sugeneruotus puslapius pagal plėtinius, kuriuos gali aptarnauti vietiniai įrankiai.
- Masinės užduotys programoje cron gauna užrakinimo failus arba persidengiantys paleidimai įrašomi į vienas kito nebaigtus failus, o --waitretry tyliai tęsia užduotį už lango; wget neturi vidinio mutex.
- Žinokite ribą: formos, daug slapukų turinčios sesijos ir API galutiniai taškai priklauso curl, o „JavaScript“ sukurti puslapiai atspindi kaip tušti apvalkalai, nes wget seka nuorodas, o ne scenarijus.
Pastaba iš praktikos
Vienas veidrodis be tėvų per naktį nuklydo į keturiasdešimt gigabaitų kliento medijos bibliotekoje ir beveik užpildė diską. Mandagumo vėliavėlės nustatomos vieną kartą ir nukopijuojamos visam laikui.
Dažniausiai užduodami klausimai
Kodėl mano veidrodyje yra tik vienas puslapis?
Apimties žymos atliko darbą, kurį kažkas norėjo anuliuoti: robots.txt apribojimai, --no-parent, gylio apribojimas arba svetainė buvo pateikta JavaScript. wget seka nuorodas, kurias gali matyti; prieš kaltindami įrankį patikrinkite -o wget.log.
Kada turėčiau pasirinkti wget over curl vienam atsisiuntimui?
Viskam, ką galima atnaujinti ar patikima: -c tęsinys, įtaisytieji pakartotiniai bandymai ir laiko žymėjimas (--timestamping) padaro wget mažo dėmesio intervalo pasirinkimą; curl suteikia tą patį tik tuo atveju, jei susirenkate patys.
Ar teisėta ar mandagu rodyti viešą svetainę?
Nuosavybė nusprendžia teisėtai, robots.txt ir įkėlimas nusprendžia mandagiai: gerbkite robotų failą, nustatykite žmogiškąjį tempą ir pirmenybę teikite oficialiam eksportui arba API, kai tik tikslinis asmuo jį pasiūlo.
Kodėl kai kurios svetainės grąžina 403 į paprastą wget?
Vartotojo agento filtravimas, paprastai tyčinis; --user-agent='Mozilla/5.0' padeda jums tai padaryti, bet filtruojamas 403 taip pat reiškia, kad operatorius žiūri, todėl dialogas arba API yra geresnis kitas žingsnis.
Kaip Kinetikatech padeda su linux komandos ir apvalkalo įgūdžiai
Atvirai — dauguma komandų kreipiasi į mus pirmiau pabandžiusios pačios: Komandos ir scenarijų rašymo įpročiai, kurie nusprendžia, ar administratorius valdo serverį, ar su juo kovoja: ieškokite, transformuokite, perkelkite ir prižiūrėkite tekstą bei procesus naudodami įrankius, esančius kiekviename baziniame diegime. Mūsų paslauga Linux serverių sauga ir Serverių administravimas skirta tam, kad jums nereikėtų linux komandos ir apvalkalo įgūdžiai pažinti sunkiausiu keliu; mes pasirūpiname paleidimu, priežiūra ir netikėtumais trečią valandą nakties.