Vérificateur robots.txt

Lisez le robots.txt d'un site comme un robot : règles par user-agent, sitemaps déclarés et blocage accidentel des moteurs de recherche.

Questions fréquentes

Disallow empêche-t-il l'indexation ?
Non. Il bloque l'exploration, mais l'URL peut être indexée via des liens. Utilisez noindex sur une page explorable.
Faut-il un robots.txt ?
Ce n'est pas obligatoire, mais c'est l'emplacement standard pour déclarer le sitemap, et certains robots enregistrent une erreur sans lui.