Analyzátor pravidel robots.txt
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Výsledky nástrojů se generují v angličtině.
Související stránky
Problém se serverem? Hacknutý web? Pomalé načítání?
Kritické problémy vyřešeny do 30 minut — nepřetržitě, 7 dní v týdnu.