robots . txt rules parser
Fetch robots.txt and test whether specific URLs are allowed or blocked for any user-agent, including wildcard and path rules. Use it to debug crawler access and verify disallow rules.
tool results are generated in english .
Σχετικές σελίδες
Πρόβλημα διακομιστή; Εισβολή στον ιστότοπο; Αργός ιστότοπος;
Απάντηση σε κρίσιμα ζητήματα εντός 30 λεπτών — 24 ώρες την ημέρα, 7 ημέρες την εβδομάδα.