robots.txt-Checker

Lesen Sie die robots.txt einer Website wie ein Crawler: Regeln je User-Agent, angegebene Sitemaps und ob Suchmaschinen versehentlich gesperrt sind.

Häufige Fragen

Verhindert Disallow die Indexierung bei Google?
Nein. Es verhindert das Crawlen, die URL kann aber über Links indexiert werden. Nutzen Sie noindex auf einer crawlbaren Seite.
Brauche ich eine robots.txt?
Nicht zwingend, aber dort wird üblicherweise die Sitemap angegeben, und ohne sie protokollieren manche Crawler Fehler.