定義

クロールバジェット（Crawl Budget）とは、
検索エンジンのクローラー（例：Googlebot）が、一定期間内にWebサイトをクロールする回数やリソースの上限のことです。
大規模サイトや頻繁に更新されるサイトでは、このクロールバジェットの最適化がSEOにおいて重要な要素となります。

仕組み

• クロールレート制限： サーバーへの負荷を考慮して、Googlebotが同時に行うリクエスト数や間隔を調整。
• クロール需要： ページの人気度や更新頻度に応じて、クローラーがアクセスする必要性を判断。
• 最終的なバジェット： 「クロールレート制限」と「クロール需要」のバランスで決定。

SEOへの影響

• インデックス効率： クロールされなければインデックスに登録されず、検索結果に表示されない。
• 更新反映の速さ： 新規ページや更新内容が検索結果に反映されるまでのスピードに影響。
• 大規模サイトでの重要性： 数万〜数百万ページを持つサイトではクロール効率がSEO成果を左右。

最適化のポイント

• 不要ページの削除/除外： 重複ページや低品質ページはnoindexやrobots.txtで制御。
• 内部リンクの整理： 重要ページにリンクを集め、クローラーが巡回しやすい構造に。
• サイトマップ活用： XMLサイトマップで重要ページを優先的に通知。
• リダイレクトチェーンの回避： クローラーを無駄に消費しないよう短く保つ。
• サーバーの安定性： 応答速度が遅いとクロール頻度が下がる。
• URLパラメータ管理： 同一コンテンツに複数URLを発生させないように。

よくある落とし穴

• 低品質ページの大量生成： クローラリソースが浪費され、重要ページがクロールされにくくなる。
• 無限URL問題： カレンダーやフィルターで無限に生成されるURLがバジェットを消費。
• サーバーエラー多発： エラー応答が多いとクローラーが巡回を制限。