llms.txt とは：その役割、誰が読むのか、本当に必要なのか

llms.txt とは？

Web サイトのルートに置くプレーンな Markdown ファイルで、言語モデルにサイトの短い概要と、最も有用なページへのリンクを提供するという提案です。Answer.AI の Jeremy Howard が 2024 年 9 月 3 日にこのアイデアを公開し、提案内容は llmstxt.org にまとめられています。

その理屈は妥当なものでした。Web ページにはナビゲーション、スクリプト、レイアウトが詰まっていて、限られたコンテキストウィンドウの中ではモデルにとって読みにくいため、整理された簡潔な概要があれば、モデルが適切な情報を素早く見つけられるというものです。提案は特にドキュメントを想定していました。開発者やコーディングアシスタントが必要とするのは、マーケティングサイトではなくリファレンスのページだからです。

ただし、この提案は誰かにファイルを読む義務を課すものではありません。考案者が公開した提案であって、検索エンジンが採用した標準ではなく、この違いこそが議論の核心です。

Google や AI 検索エンジンはこのファイルを使っているのか？

確認されている限りでは、使われていません。Search Engine Land の報道によると、Google の Gary Illyes は Google はこれをサポートしていないと述べ、John Mueller は「どの AI サービスも LLMs.txt を使っているとは言っていない」として、検索エンジンが無視するようになった古い meta keywords タグになぞらえました。

OpenAI、Perplexity、Microsoft、Anthropic、Google のいずれからも、自社の回答エンジンが引用元を決める際にこのファイルを読んでいるという公式な発言は見つかっていません。今後変わる可能性はあり、主要なエンジンがサポートを明記した場合は本ページを更新します。それまでは、このファイルを引用を得るためのレバーとして提案する代理店は、文書化された仕組みではなく期待を売っていることになります。

エンジンが実際に文書化している内容と比べてみる価値があります。OpenAI は OAI-SearchBot が robots.txt にどう従うかを公開しています。Perplexity は PerplexityBot を、Anthropic は Claude-SearchBot を文書化しています。Google は、AI Overviews と AI Mode が Googlebot と通常のインデックスに依存していることを明記しています。効果が明言されているのは、これらの制御手段です。

Google は AI 検索のために代わりに何が必要だとしているのか？

通常の SEO です。2026 年 7 月に更新された Google の AI 最適化ガイドでは、生成 AI 検索への最適化は「SEO であることに変わりはない」とし、特別なファイルやマークアップ、Markdown は不要としています。

Google の AI 機能に関するドキュメントでも、AI Overviews や AI Mode に表示されるには、ページがインデックスされスニペット表示の対象であればよく、追加の要件や特別な最適化は不要としています。また、生成 AI 検索向けの特別な schema.org マークアップも存在しないとしています。まとめると Google の立場は明確で、サイトを整理した Markdown の概要は、同社の AI 機能が必要とするものではありません。

robots.txt やサイトマップとはどう違うのか？

robots.txt とサイトマップは、クローラーが文書化し実際に従っている確立されたファイルです。一方、新しいこのファイルは提案段階のもので、回答エンジンの中に読んでいると確認されたものはありません。実務上の違いを下の表にまとめました。

このファイルが実際に役立つのはどんな場面か？

主に開発者向けドキュメントです。いくつかの AI 企業は自社の開発者向けドキュメントにこのファイルを公開しており、コーディングエージェントや開発者の AI アシスタントにリファレンスページのすっきりした索引を提供しています。たとえば、OpenAI の販売事業者向けコマースドキュメントは llms-full.txt ファイルとして公開されています。

自社で API、SDK、技術ドキュメントを提供しているなら、ドキュメントを AI ツールに貼り付ける開発者や、このファイルを探すエージェントを使う開発者への配慮として、公開するのは妥当です。一般的なマーケティングサイト、サービス企業、EC ストアにとっては、効果は小さく実証もされていません。害はなく、コストも低い。それが最も正直なまとめです。

それでも公開すべきか？

1 時間程度で済み、ドキュメントや明確なページ階層があるなら作成してかまいませんが、戦略ではなく整備作業として予算を見積もってください。そのために月額費用を払う必要はなく、ChatGPT や Google AI Overviews での貴社の説明が変わることも期待しないでください。AI の回答に表示されない理由がこのファイルだと売り込まれたら、該当するエンジンの公式ドキュメントを見せてもらいましょう。今のところ、そのようなドキュメントは存在しません。

公開する場合は、正確な状態を保ち、更新し続けてください。終了した製品や古い料金が載った古い概要は、ないほうがましです。事実情報がずれる場所を 1 つ増やすことになるからです。書き方としては、読んでほしいページだけにリンクし、それらのページ自体がクロール可能な HTML であることを確認し、サイト構成が変わるたびに見直すファイルの一覧に加えておきましょう。

エンジンが実際に従っている AI 関連のファイルと設定は？

robots.txt のトークンと、Cloudflare を利用している場合はマネージド robots.txt とコンテンツシグナルです。これらは AI クローラーに何を許可するかを決める場所であり、各ベンダーがどう対応するかを文書化しています。

重要なのは、検索と学習を切り分けることです。OAI-SearchBot、PerplexityBot、Claude-SearchBot は、各サービスがページを表示・引用するために取得します。GPTBot、ClaudeBot、CCBot は学習データを収集します。Google-Extended はクローラーではなく robots.txt の制御トークンで、Google によると Gemini の学習と Gemini アプリのグラウンディングを管理するもので、Google 検索への掲載には影響しません。AI Overviews と AI Mode は Googlebot を使います。Applebot-Extended も同様に Apple の基盤モデルの学習を管理するもので、クロールはしません。

Cloudflare のマネージド robots.txt では、Content-signal: search=yes, ai-train=no のような行を追加し、主要な学習用クローラーを自動で拒否できます。これにより、AI 検索での可視性を保ちながら学習からはオプトアウトできます。多くの企業が実際に下すべき判断はこちらであり、Markdown の概要を公開するかどうかよりもはるかに影響の大きい選択です。

llms.txt を検討する前に直すべきことは？

エンジンが文書化している項目を、おおむね次の順番で直してください。いずれも、回答エンジンが貴社にアクセスし引用できるかどうかに、明言された、または観察可能な効果があります。

• robots.txt：Googlebot、Bingbot、OAI-SearchBot、PerplexityBot、Claude-SearchBot、Applebot を許可し、GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot などの学習用トークンは別途判断する。
• Cloudflare：2025 年 7 月 1 日以降、デフォルトで料金を支払わない AI クローラーをブロックしているため、アクセスできると思い込まず、AI クローラーとマネージド robots.txt の設定を確認する。
• サーバーログ：検索用クローラーがチャレンジやエラーではなく HTTP 200 のレスポンスを受け取っていることを確認する。
• レンダリング：主要なコンテンツは、クライアントサイドの JavaScript だけに頼らず、サーバーレンダリングされた HTML で配信する。
• コンテンツ：質問形式の見出しとその直下の端的な回答、FAQ ブロック、目に見える最終更新日。
• エンティティ：Organization schema、sameAs リンク、Wikidata、購買担当者が使うレビューサイトやディレクトリでの一貫した会社情報。

エンジンがこのファイルを使い始めたらどうやってわかるのか？

公式ドキュメントと自社のサーバーログを注視してください。OpenAI、Google、Perplexity、Microsoft、Anthropic がクローラーやウェブマスター向けのドキュメントにこのファイルを追加したら、それが真剣に取り組むべきサインです。

それまでの間、アクセスログを見れば、どのユーザーエージェントが /llms.txt をどのくらいの頻度でリクエストしているかがわかります。既知の検索用クローラーからのリクエストは記録しておく価値がありますが、取得されただけではその内容が回答に影響している証明にはなりません。本当のテストは、当社がすべての AEO の変更に使っているものと同じです。変更の前後で固定プロンプトセットを実行し、月ごとに比較することです。