Analyseur de règles robots.txt
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Les résultats des outils sont générés en anglais.
Pages liées
Problème de serveur ? Site piraté ? Site lent ?
Incidents critiques pris en charge en 30 minutes — 24h/24, 7j/7.