Comprobador de robots.txt

Lee el robots.txt de una web como un rastreador: reglas por user-agent, sitemaps declarados y si bloquea por error a los buscadores.

Preguntas frecuentes

¿Disallow evita que Google indexe una página?
No. Impide el rastreo, pero la URL puede indexarse por enlaces. Usa noindex en una página rastreable.
¿Necesito un robots.txt?
No es obligatorio, pero es el lugar estándar para indicar el sitemap y sin él algunos rastreadores registran errores.