Robots.txt 检查

像爬虫一样读取网站的 robots.txt：每个 User-agent 的规则、列出的 sitemap，以及是否误屏蔽了搜索引擎。

常见问题

Disallow 能让页面不被 Google 收录吗？
不能。它只阻止抓取，被屏蔽的网址仍可能通过外链被收录。要不被收录，应在可抓取的页面上加 noindex。
网站一定要有 robots.txt 吗？
不是必须的，但它是声明 sitemap 的标准位置，缺少时一些爬虫会记录错误。

更多站点工具

想看完整情况？运行一次全面检测：
网站宕机检测 全球网站速度测试 SEO 检测