लिनक्स कमांड और शेल कौशल
wget: डाउनलोडर जो कभी नहीं सोता
wget घंटों में मापी जाने वाली नौकरियों के लिए कर्ल है: दर्पण, अभिलेखागार, पुनरावर्ती पुल, और क्रॉन बैच जो चलते हैं जबकि कोई नहीं देखता है। यह पुनरावृत्ति करता है, robots.txt का सम्मान करता है, डिफ़ॉल्ट रूप से बाधित स्थानान्तरण को फिर से शुरू करता है, और दर सीमा और प्रतीक्षा अंतराल के साथ खुद को गति देता है, जो कि कॉल करने वाले के लिए विनम्रता का संकेत है। दो उपकरणों के बीच विभाजन साफ है: थोक और धैर्य के लिए wget, परिशुद्धता के लिए कर्ल, और एक टीम जो दोनों को जानती है उसे शायद ही कभी तीसरे इंस्टॉलर की आवश्यकता होती है।
मुख्य बिंदु
- मिररिंग एक पंक्ति है: wget --mirror --convert-links --adjust-extension --no-parent https://docs.example.com; omit --no-parent और एक दस्तावेज़ संग्रह चुपचाप इसके ऊपर की हर चीज़ का क्रॉल बन जाता है।
- फिर से शुरू करें और निःशुल्क पुनः प्रयास करें: wget -c एक बाधित स्थानांतरण को वापस उठाता है, और --tries=10 --waitretry=5 उन सर्वरों को बाहर निकालता है जो पहले झटके में काम को विफल करने के बजाय मध्य-बल्क में हिचकी लेते हैं।
- विनम्रता के झंडे हैं: --सीमा-दर=200k, --प्रतीक्षा=1, और --यादृच्छिक-प्रतीक्षा दर्पण को अपस्ट्रीम दर सीमा या साझा-सर्वर दुरुपयोग खंड से बचाए रखती है; साझा होस्टिंग और एक अनथ्रॉटल्ड क्रॉलर एक छोटी सी दोस्ती है।
- robots.txt डिफ़ॉल्ट रूप से सम्मानित है; -e robots=off जानबूझकर इसे ओवरराइड करता है, और किसी अन्य की उत्पादन साइट के विरुद्ध उस ओवरराइड का उपयोग करने से थोक डाउनलोड घटना टिकटों में बदल जाते हैं।
- wget -O /dev/null -nv https://host/health एक एक-पंक्ति निगरानी जांच है जिसके निकास कोड निदान करते हैं: 4 एक नेटवर्क विफलता है, 8 एक सर्वर त्रुटि है, और दोनों एक मूक क्रॉन को हराते हैं।
- इस तथ्य के बाद रूपांतरण मायने रखता है: --convert-links ऑफ़लाइन नेविगेशन के लिए एक प्रतिबिंबित साइट को फिर से लिखता है, और --adjust-extension स्थानीय टूल द्वारा प्रदान किए जा सकने वाले एक्सटेंशन के तहत CMS-जनित पृष्ठों को सहेजता है।
- क्रॉन में बल्क जॉब्स को लॉक फ़ाइलें मिलती हैं, या ओवरलैपिंग रन एक-दूसरे की आधी-अधूरी फ़ाइलों में लिखते हैं, जबकि --waitretry चुपचाप जॉब को अपनी विंडो से आगे बढ़ा देता है; wget में कोई आंतरिक म्यूटेक्स नहीं है।
- सीमा जानें: फॉर्म, कुकी-भारी सत्र और एपीआई एंडपॉइंट कर्ल से संबंधित हैं, और जावास्क्रिप्ट-निर्मित पृष्ठ खाली शेल के रूप में प्रतिबिंबित होते हैं क्योंकि wget लिंक का अनुसरण करता है, स्क्रिप्ट का नहीं।
क्षेत्रीय टिप्पणी
बिना माता-पिता के एक दर्पण रात भर में एक ग्राहक की मीडिया लाइब्रेरी के चालीस गीगाबाइट में चला गया और डिस्क लगभग भर गई। विनम्रता के झंडे एक बार लगाए जाते हैं और उसके बाद हमेशा के लिए कॉपी कर लिए जाते हैं।
अक्सर पूछे जाने वाले प्रश्न
मेरे दर्पण में केवल एक पृष्ठ क्यों है?
स्कोप फ़्लैग ने वह काम किया जिसे कोई पूर्ववत करना चाहता था: robots.txt प्रतिबंध, --नो-पैरेंट, एक गहराई सीमा, या साइट को जावास्क्रिप्ट-रेंडर किया जाना। wget उन लिंक्स का अनुसरण करता है जिन्हें वह देख सकता है; टूल को दोष देने से पहले -o wget.log जांचें।
मुझे एकल डाउनलोड के लिए कर्ल के स्थान पर wget को कब चुनना चाहिए?
पुन: प्रारंभ करने योग्य या क्रॉन-विश्वसनीय किसी भी चीज़ के लिए: -सी निरंतरता, अंतर्निहित पुनर्प्रयास, और टाइमस्टैम्पिंग (--टाइमस्टैम्पिंग) कम-ध्यान अवधि विकल्प को भूल जाते हैं; कर्ल आपको वही देता है यदि आप इसे स्वयं असेंबल करते हैं।
क्या किसी सार्वजनिक साइट को प्रतिबिंबित करना कानूनी या विनम्र है?
स्वामित्व कानूनी तय करता है, robots.txt और लोड विनम्र तरीके से तय करते हैं: रोबोट फ़ाइल का सम्मान करें, मानव-ईश दर तक गला घोंटें, और लक्ष्य द्वारा ऑफ़र किए जाने पर आधिकारिक निर्यात या एपीआई को प्राथमिकता दें।
कुछ साइटें सादे wget पर 403 क्यों लौटाती हैं?
उपयोगकर्ता-एजेंट फ़िल्टरिंग, आमतौर पर जानबूझकर; --user-agent='Mozilla/5.0' आपको आगे ले जाता है, लेकिन फ़िल्टर किए गए 403 का मतलब यह भी है कि ऑपरेटर देख रहा है, इसलिए एक संवाद या एपीआई बेहतर अगला कदम है।
लिनक्स कमांड और शेल कौशल में Kinetikatech कैसे सहायता करता है
सीधी बात: कमांड और स्क्रिप्टिंग आदतें जो यह तय करती हैं कि कोई व्यवस्थापक सर्वर चलाता है या उससे लड़ता है: प्रत्येक बेस इंस्टॉल में मौजूद टूल के साथ टेक्स्ट और प्रक्रियाओं को खोजना, बदलना, स्थानांतरित करना और पर्यवेक्षण करना। इसे हमारी Linux सर्वर सुरक्षा और सर्वर प्रबंधन सेवा को सौंप दें और काम पूरा — सही आकलन, स्वच्छ कार्यान्वयन, चौबीसों घंटे निगरानी।