更新: 2026-02-15監修: 伊東 雄歩
クローラー / Crawler / Spider
クローラー
ウェブサイトを巡回して情報を収集する検索エンジンのプログラム。
詳細説明
検索エンジンがインターネット上のウェブページを自動的に巡回し、情報を収集するプログラム。Googleの場合は「Googlebot」と呼ばれる。クローラーが収集した情報は、検索エンジンのインデックスに登録される。
使用例
クローラーがサイトを巡回しやすいようにサイトマップを設置するrobots.txtでクローラーのアクセスを制御する
関連用語
この用語が出てくるページ
関連するガイド・プレイブック・ケーススタディを自動でピックアップしています。
Googlebot 2MBクロール制限の全貌: 影響範囲と実務対策を徹底解説
Googlebotのクロール上限が2MBに明確化されました。15MBとの違い、影響を受けるページの特徴、HTMLサイズの計測方法、具体的な軽量化テクニックを実務ベースで解説します。
robots.txtの書き方｜SEO設定のやるべき/NG例とテスト方法
robots.txtは「クロール制御」。noindexやcanonicalと混ぜると事故る。やっていい/ダメな設定と、Search Consoleでのテスト手順を整理。
sitemap.xmlの作り方｜送信・更新・分割とよくあるミス
サイトマップは「発見の補助」。正規URLだけを載せ、内部リンクと正規化とセットで運用する。作り方とチェックリスト。
インデックスされない原因と対処法｜Search Consoleでの確認手順
インデックス未登録を「ブロック/正規化/取得/品質/発見」に分解して最短で切り分ける。URL検査の見方と実務チェックリスト。
noindex・robots.txtで意図せずブロックした時の対処法
公開後にテンプレ設定が残りがち。「効いている場所」を特定して一括で直す。
ページがインデックスされない原因と対処法
URL検査でインデックス未登録。まず「ブロック/重複/品質/技術」のどれかを切り分ける。
検出・インデックス未登録の原因と対処法｜GSCステータス別
発見もクロールもしているのに登録されない。品質と重複の可能性が高い。
2026年2月10日〜16日 SEOトレンド: Google品質アップデート・Googlebot 2MB制限・AI検索の新潮流
Google品質アップデート、AI Overviewsの表示拡大、Googlebotのクロール上限2MB明確化、CloudflareのAIクローラー向けMarkdown変換、Google AI Mode UCP、BingのAI引用レポートなど、2026年2月10日〜16日のSEOニュースを網羅。実務で即使えるアクションアイテム付き。