Линук команде и вештине љуске
вгет: Довнлоадер који никад не спава
вгет је цурл за послове мерене сатима: огледала, архиве, рекурзивно повлачење и црон групе које се покрећу док нико не гледа. Понавља се, поштује роботс.ткт, подразумевано наставља прекинуте трансфере и прати се са ограничењима брзине и интервалима чекања, што је љубазност коју оставља позиваоцу. Између два алата подела је чиста: вгет за масу и стрпљење, цурл за прецизност, а тиму који зна и једно и друго ретко треба трећи инсталатер.
Кључне точке
- Мирроринг је један ред: вгет --миррор --цонверт-линкс --адјуст-ектенсион --но-парент хттпс://доцс.екампле.цом; изоставите --но-парент и архива документације ће тихо постати попис свега изнад ње.
- Наставите и покушајте поново бесплатно: вгет -ц бира прекинути пренос, а --триес=10 --ваитретри=5 избацује сервере који штуцају усред велике количине уместо да не успе при првом трзању.
- Учтивост има заставице: --лимит-рате=200к, --ваит=1 и --рандом-ваит спречавају огледало да не активира ограничења брзине узвода или клаузулу о злоупотреби дељеног сервера; дељени хостинг плус неугушени трагач је кратко пријатељство.
- роботс.ткт се подразумевано поштује; -е роботс=офф га намерно замењује, а коришћење тог заобилажења против нечијег другог производног места је начин на који се масовна преузимања претварају у пријаве за инцидент.
- вгет -О /дев/нулл -нв хттпс://хост/хеалтх је сонда за надгледање у једној линији чији излазни кодови носе дијагнозу: 4 је грешка мреже, 8 је грешка сервера, и оба побеђују тихи црон.
- Конверзија је битна после чињенице: --цонверт-линкс преписује пресликану локацију за офлајн навигацију, а --адјуст-ектенсион чува странице генерисане ЦМС-ом под екстензијама које локални алати могу да послуже.
- Групни послови у црон добијају датотеке закључавања, или преклапајућа извођења уписују једни друге у напола завршене датотеке док --ваитретри тихо протеже посао иза његовог прозора; вгет нема интерни мутекс.
- Знајте границу: обрасци, сесије са великим бројем колачића и крајње тачке АПИ-ја припадају цурл-у, а странице направљене у ЈаваСцрипт-у се огледају као празне шкољке јер вгет прати везе, а не скрипте.
Теренска биљешка
Једно огледало без --но-парент је преко ноћи одлутало у четрдесет гигабајта клијентове медијске библиотеке и скоро напунило диск. Заставице учтивости се постављају једном и копирају заувек.
Цесто постављања питања
Зашто моје огледало садржи само једну страницу?
Ознаке опсега су урадиле посао који је неко намеравао да поништи: ограничења роботс.ткт, --но-парент, ограничење дубине или сајт који се приказује у ЈаваСцрипт-у. вгет прати везе које може да види; проверите -о вгет.лог пре него што окривите алатку.
Када треба да изаберем вгет преко цурл-а за једно преузимање?
За све што се може наставити или поуздано у црон: -ц наставак, уграђени поновни покушаји и временско означавање (--временски жиг) чине вгет избором распона ниске пажње; цурл вам даје исто само ако га сами саставите.
Да ли је легално или пристојно пресликавати јавни сајт?
Власништво одлучује легално, роботс.ткт и учитавање одлучују пристојно: поштујте датотеку робота, смањите стопу на нивоу човека и преферирајте званични извоз или АПИ у тренутку када га циљ понуди.
Зашто неки сајтови враћају 403 на обичан вгет?
Филтрирање корисник-агент, обично намерно; --усер-агент='Мозилла/5.0' вас води кроз, али филтрирани 403 такође значи да оператер гледа, тако да је дијалог или АПИ бољи следећи корак.
Како Kinetikatech помаже код линук команде и вештине љуске
Данас то радимо овако: Команде и навике скриптовања које одлучују да ли администратор управља сервером или се бори против њега: претражују, трансформишу, преносе и надзиру текст и процесе помоћу алата који живе у свакој основној инсталацији. Наша услуга Linux Server Security и Server Management покрива све, од процјене до имплементације, надзора 24/7 и хитне интервенције у 30 минута.