Fortolker for robots.txt-regler
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Værktøjsresultater genereres på engelsk.
Relaterede sider
Serverproblemer? Hacket website? Langsom indlæsning?
Kritiske problemer løst inden for 30 minutter — døgnet rundt, 7 dage om ugen.