Markdown for Agentsとは
Cloudflareが発表した「Markdown for Agents」は、AIクローラー（ChatGPT、Claude、Perplexity等）がWebページをリクエストした際、HTMLを自動的にMarkdown形式に変換して配信する機能です。
AIエージェントはHTMLよりMarkdownの方が効率的に処理できるため、トークン消費を最大80%削減できるとされています。Cloudflareの管理画面からワンクリックで有効化できます。
技術的な仕組み
Markdown for AgentsはHTTPヘッダーのContent Negotiationを利用します。AIクローラーが特定のAcceptヘッダーを送信すると、CloudflareのエッジでHTMLをMarkdownに変換して返却します。
- User-AgentまたはAcceptヘッダーでAIクローラーを識別
- HTMLのメインコンテンツ領域を抽出し、Markdownに変換
- ナビゲーション・フッター等の定型要素は除外される
- 画像はMarkdownの画像記法（）に変換
- robots.txtやmeta robotsの設定は引き続き尊重される
クローキング問題: Googleの見解は？
SEO業界で最も議論されているのがクローキングとの類似性です。人間向けとAI向けで異なるコンテンツを配信することが、Googleのウェブマスターガイドラインに抵触する可能性があります。
現時点ではGoogleの公式見解は出ていません。ただしコンテンツの「内容」自体は同一で「形式」のみが異なる点が、従来のクローキング（内容を偽る）とは本質的に異なるという見方もあります。
- Googleのクローキング定義: 「ユーザーと検索エンジンに異なるコンテンツを表示する行為」
- Markdown変換は形式変換であり内容変更ではないという論点
- Googlebotに対してはHTML配信が維持されるため、Google検索には直接影響なし
- ChatGPT/Perplexity等の非Google AIクローラーが主なターゲット
LLMO対策としての活用可能性
AIクローラーに対してクリーンなMarkdownを配信できることは、LLMO（LLM最適化）の観点から大きなメリットがあります。HTMLのノイズ（広告コード、ナビゲーション等）が除去されることで、AIがコンテンツの本質を正確に理解しやすくなります。
- ナビゲーション・サイドバー・広告コードのノイズを自動除去
- コンテンツの階層構造（見出し）がMarkdownで明確に伝わる
- AI回答での引用精度が向上する可能性
- ただし「形式の最適化」であり「内容の最適化」は別途必要
実務アクションアイテム
- Cloudflare利用者は管理画面で機能の存在を確認（急いで有効化する必要はない）
- Googleの公式見解が出るまでは慎重に判断し、有効化する場合はテスト環境で先行検証
- robots.txtでAIクローラーの制御を明確にしておく（現在の方針を再確認）
- Markdown変換に頼らず、HTML自体の構造化（セマンティックHTML、見出し階層）を強化
- llms.txtの実装も並行して検討（サイト構造をAIに伝える補助手段として）
参考ソース
- Search Engine LandCloudflare's Markdown for Agents AI feature has SEOs on alert
よくある質問（Q&A）
Markdown for Agentsは無料で使えますか？
Cloudflareの管理画面から無料プランでも有効化できます。追加料金は発生しません。ただしCloudflareをCDNとして利用していることが前提です。
Googlebotにも Markdownが配信されますか？
いいえ、現時点ではGooglebotはMarkdown配信の対象外です。GooglebotにはこれまでどおりHTMLが配信されます。主にChatGPT、Claude、Perplexity等のAIクローラーが対象です。
既にllms.txtを実装しています。Markdown for Agentsとの違いは？
llms.txtはサイト全体の構造やガイドをAIに伝える「メタ情報」ファイルです。Markdown for Agentsは個別ページのコンテンツをMarkdown形式で配信する仕組みです。両者は補完関係にあり、併用が効果的です。