よくある質問
- Disallow で Google のインデックスを防げますか？
- いいえ。クロールは止まりますが、リンク経由で URL がインデックスされることがあります。除外するにはクロール可能なページに noindex を付けます。
- robots.txt は必要ですか？
- 必須ではありませんが、サイトマップを記載する標準の場所で、ないとエラーを記録するクローラーもあります。
その他のサイトツール
全体像を知りたいときは、総合チェックを実行：
クローラーと同じように robots.txt を読み取ります。User-agent ごとのルール、記載されたサイトマップ、検索エンジンを誤ってブロックしていないかがわかります。