Razčlenjevalnik pravil robots.txt
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Rezultati orodja se ustvarijo v angleščini.
Sorodne strani
Problem z strežnikom? Napadena spletna stran? Dolgo se naloži?
Kritični problemi rešeni v 30 minutah — nonstop, 7 dni v tednu.