Парсер правил robots.txt
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Результаты инструментов генерируются на английском.
Похожие страницы
Проблема с сервером? Взломанный сайт? Медленная страница?
Критические инциденты с ответом в течение 30 минут — круглосуточно, 7 дней в неделю.