Comandos Linux e habilidades de shell
wget: O downloader que nunca dorme
wget é curl para trabalhos medidos em horas: espelhos, arquivos, pulls recursivos e lotes cron que são executados enquanto ninguém assiste. Ele recorre, respeita o robots.txt, retoma transferências interrompidas por padrão e acompanha limites de taxa e intervalos de espera, o que é uma cortesia que o curl deixa para o chamador. Entre as duas ferramentas a divisão é clara: wget para volume e paciência, curl para precisão, e uma equipe que conhece ambas raramente precisa de um terceiro instalador.
Pontos principais
- O espelhamento é uma linha: wget --mirror --convert-links --adjust-extension --no-parent https://docs.example.com; omit --no-parent e um arquivo de documentação silenciosamente se torna um rastreamento de tudo acima dele.
- Retome e tente novamente gratuitamente: wget -c seleciona uma transferência interrompida de volta e --tries=10 --waitretry=5 elimina servidores que soluçam no meio do volume em vez de falhar no trabalho na primeira contração.
- A polidez tem sinalizadores: --limit-rate=200k, --wait=1 e --random-wait evitam que um espelho acione limites de taxa upstream ou uma cláusula de abuso de servidor compartilhado; hospedagem compartilhada mais um rastreador desenfreado é uma amizade curta.
- robots.txt é respeitado por padrão; -e robots=off o substitui deliberadamente, e usar essa substituição no site de produção de outra pessoa é como os downloads em massa se transformam em tickets de incidente.
- wget -O /dev/null -nv https://host/health é uma sonda de monitoramento de uma linha cujos códigos de saída carregam o diagnóstico: 4 é uma falha de rede, 8 é um erro de servidor e ambos superam um cron silencioso.
- A conversão é importante depois do fato: --convert-links reescreve um site espelhado para navegação offline e --adjust-extension salva páginas geradas por CMS em extensões que as ferramentas locais podem servir.
- Trabalhos em massa no cron obtêm arquivos de bloqueio ou execuções sobrepostas gravam nos arquivos incompletos uns dos outros enquanto --waitretry estende silenciosamente o trabalho além de sua janela; wget não tem mutex interno.
- Conheça os limites: formulários, sessões com muitos cookies e endpoints de API pertencem ao curl, e as páginas construídas em JavaScript são espelhadas como shells vazios porque o wget segue links, não scripts.
Nota de campo
Um espelho sem --no-parent vagou por quarenta gigabytes da biblioteca de mídia de um cliente durante a noite e quase encheu o disco. Os sinalizadores de polidez são definidos uma vez e copiados para sempre.
Perguntas frequentes
Por que meu espelho contém apenas uma página?
Os sinalizadores de escopo fizeram o trabalho que alguém pretendia desfazer: restrições de robots.txt, --no-parent, um limite de profundidade ou o site sendo renderizado em JavaScript. wget segue links que pode ver; verifique -o wget.log antes de culpar a ferramenta.
Quando devo escolher wget em vez de curl para um único download?
Para qualquer coisa recuperável ou confiável em cron: -c continuação, novas tentativas integradas e carimbo de data / hora (--timestamp) tornam o wget a opção de baixa atenção; curl oferece o mesmo apenas se você mesmo montá-lo.
É legal ou educado espelhar um site público?
A propriedade é legal, o robots.txt e o carregamento são educados: respeite o arquivo dos robôs, limite-se a uma taxa humana e prefira uma exportação oficial ou API no momento em que o destino oferecer uma.
Por que alguns sites retornam 403 para o wget simples?
Filtragem usuário-agente, geralmente intencional; --user-agent='Mozilla/5.0' ajuda você, mas um 403 filtrado também significa que o operador está observando, então um diálogo ou uma API é o próximo passo melhor.
Como a Kinetikatech ajuda com comandos linux e habilidades de shell
É isto que fazemos todos os dias: Os comandos e hábitos de script que decidem se um administrador opera um servidor ou o combate: pesquise, transforme, transfira e supervisione textos e processos com as ferramentas presentes em cada instalação básica. Nosso serviço Segurança de servidores Linux e Gestão de servidores cobre tudo de ponta a ponta: avaliação, implementação, monitoramento 24/7 e resposta de emergência em 30 minutos.