robots.txt Rules parser
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
Rezultati alata su generisani u engleskom.
Повезане странице
Проблем са сервером? Хакован сајт? Споро уцитавање?
Критицани проблеми ресени у 30 минута — нон-стоп, 7 дана у недељу.