定義

サイトマップ（XML Sitemap）とrobots.txtは、検索エンジンのクローラにサイト情報を伝えるための基本的なファイルです。
サイトマップは「どのページをクロールしてほしいか」を伝え、robots.txtは「どのページをクロールしてはいけないか」を指示します。

サイトマップ（XML Sitemap）

サイトマップは、サイト内のURL一覧をまとめたXMLファイルで、検索エンジンに効率的なクロールとインデックスを促します。

• URL伝達： 重要なページを確実にクロールさせる。
• インデックス促進： 新規・更新ページを素早く認識させる。
• クロール効率化： 階層の深いページや孤立ページも伝達。
• メタ情報： 更新日や優先度を付加できる。

WordPressではYoast SEOなどのプラグインで自動生成できます。

robots.txt

robots.txtは、サイトのルートディレクトリに置かれるテキストファイルで、クローラにクロール可能・不可を指示します。

User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml

• クロール制御： 不要なページを除外。
• クロール予算の最適化： 重要ページにクローラを集中させる。
• セキュリティ補助： 公開不要のディレクトリを回避。
• サイトマップ通知： robots.txtに記載することで検索エンジンに知らせられる。

robots.txtは「クロール制御」であり、インデックス除外ではない点に注意が必要です。

サイトマップとrobots.txtの違い

• サイトマップ： クロールしてほしいページを知らせる。
• robots.txt： クロールしてほしくないページを制御する。

両者を併用することで、検索エンジンに「重要ページは確実に届け」「不要ページは避けて」と指示できます。

SEOへの効果

• 効率的なクロール： クローラのリソースを最適化できる。
• インデックス精度向上： 重要ページを漏れなく検索結果に反映。
• 重複・不要ページ回避： 評価の分散を防ぎ、SEOの集中効果を高める。