robots.txt-szabályfeldolgozó
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Az eszközök eredményei angol nyelven jönnek létre.
Kapcsolódó oldalak
Probléma a szerverrel? Feltörték a webhelyet? Lassú a betöltés?
Kritikus problémák megoldása 30 percen belül — a hét minden napján, éjjel-nappal.