更新: 2026-02-15監修: 伊東 雄歩
ロボッツテキスト / robots.txt
robots.txt
クローラーに対してサイトの巡回ルールを指定するファイル。
技術重要度: 中
詳細説明
ウェブサイトのルートディレクトリに配置される、検索エンジンのクローラーに対して巡回のルールを指定するテキストファイル。特定のディレクトリやファイルへのアクセスを制限したり、サイトマップの場所を指定したりできる。
使用例
User-agent: * Disallow: /admin/Sitemap: https://example.com/sitemap.xml
関連用語
この用語が出てくるページ
関連するガイド・プレイブック・ケーススタディを自動でピックアップしています。
ガイド更新: 2026-02-14
robots.txtの書き方｜SEO設定のやるべき/NG例とテスト方法
robots.txtは「クロール制御」。noindexやcanonicalと混ぜると事故る。やっていい/ダメな設定と、Search Consoleでのテスト手順を整理。
こんなとき更新: 2026-02-15
noindex・robots.txtで意図せずブロックした時の対処法
公開後にテンプレ設定が残りがち。「効いている場所」を特定して一括で直す。
ガイド更新: 2026-02-14
sitemap.xmlの作り方｜送信・更新・分割とよくあるミス
サイトマップは「発見の補助」。正規URLだけを載せ、内部リンクと正規化とセットで運用する。作り方とチェックリスト。
こんなとき更新: 2026-02-15
サイトマップ送信済みなのにインデックスされない原因と対処法
サイトマップは「発見の補助」。内部リンク、正規化、品質が整っていないと効果が薄い。
トレンド更新: 2026-02-16
2026年2月10日〜16日 SEOトレンド: Google品質アップデート・Googlebot 2MB制限・AI検索の新潮流
Google品質アップデート、AI Overviewsの表示拡大、Googlebotのクロール上限2MB明確化、CloudflareのAIクローラー向けMarkdown変換、Google AI Mode UCP、BingのAI引用レポートなど、2026年2月10日〜16日のSEOニュースを網羅。実務で即使えるアクションアイテム付き。
トレンド更新: 2026-02-16
Googlebot 2MBクロール制限の全貌: 影響範囲と実務対策を徹底解説
Googlebotのクロール上限が2MBに明確化されました。15MBとの違い、影響を受けるページの特徴、HTMLサイズの計測方法、具体的な軽量化テクニックを実務ベースで解説します。