Raščlamba pravila robots.txt
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Rezultati alata generiraju se na engleskom.
Povezane stranice
Problem sa serverom? Hakirana stranica? Sporo učitavanje?
Kritični problemi riješeni u 30 minuta — non-stop, 7 dana u tjednu.