wget: 잠들지 않는 다운로더

핵심 내용

• 미러링은 한 줄로 이루어집니다. wget --mirror --convert-links --adjust-extension --no-parent https://docs.example.com; --no-parent를 생략하면 문서 아카이브가 조용히 그 위의 모든 것을 크롤링하게 됩니다.
• 무료로 재개 및 재시도: wget -c는 중단된 전송 백업을 선택하고 --tries=10 --waitretry=5는 첫 번째 트위치에서 작업이 실패하는 대신 중간에 딸꾹질이 발생하는 서버를 제거합니다.
• Politeness에는 --limit-rate=200k, --wait=1 및 --random-wait 플래그가 있어 미러가 업스트림 속도 제한이나 공유 서버 남용 조항을 벗어나지 않도록 합니다. 공유 호스팅과 조절되지 않는 크롤러는 짧은 우정입니다.
• robots.txt는 기본적으로 존중됩니다. -e robots=off는 이를 의도적으로 재정의하고 다른 사람의 프로덕션 사이트에 대해 해당 재정의를 사용하는 방식으로 대량 다운로드가 사고 티켓으로 전환됩니다.
• wget -O /dev/null -nv https://host/health는 종료 코드가 진단을 전달하는 한 줄 모니터링 프로브입니다. 4는 네트워크 오류, 8은 서버 오류, 둘 다 자동 cron을 능가합니다.
• 변환은 사실 이후에 중요합니다. --convert-links는 오프라인 탐색을 위해 미러링된 사이트를 다시 작성하고, --adjust-extension은 로컬 도구가 제공할 수 있는 확장 아래에 CMS 생성 페이지를 저장합니다.
• cron의 대량 작업은 잠금 파일을 얻거나 중복 실행은 서로의 반쯤 완료된 파일에 기록하는 반면 --waitretry는 해당 창을 지나 작업을 조용히 늘립니다. wget에는 내부 뮤텍스가 없습니다.
• 경계를 파악하십시오. 양식, 쿠키가 많은 세션 및 API 끝점은 컬에 속하며 wget은 스크립트가 아닌 링크를 따르기 때문에 JavaScript로 작성된 페이지는 빈 셸로 미러링됩니다.

현장 노트

--no-parent가 없는 미러 중 하나가 밤새 40기가바이트의 클라이언트 미디어 라이브러리를 탐색하여 디스크를 거의 가득 채웠습니다. 공손함 플래그는 한 번 설정되고 그 이후에는 영원히 복사됩니다.

자주 묻는 질문