回答エンジンがサイトに到達し、読み、引用できるようにするテクニカル AEO

テクニカル AEO は、コンテンツの作業にはない何をカバーしますか？

回答エンジンのクローラーと貴社の文章の間にあるすべて、つまり許可、配信、マークアップ、発見をカバーします。コンテンツの再構成はページが何を語るかを決め、このレイヤーは機械がそれを受け取れるかどうかを決めます。

失敗が目に見えないため、独立したワークストリームとして扱います。従来の検索では上位表示されているサイトでも、たった1行の disallow、CDN のボット対策ルール、空のプリレンダリングシェルが、1つ以上の回答エンジンを締め出していることがあります。当社の AEO 診断がこうした問題を指摘し、このサービスが修正し、リニューアル、移行、セキュリティ変更のたびに修正された状態を維持します。

• 検索用、ユーザー取得用、学習用のすべてのトークンに対する robots.txt のルール。
• robots.txt の手前にある CDN と Web アプリケーションファイアウォールのルール。
• 重要な各ページの主要な答えをサーバーレンダリングした HTML。
• 訪問者に見える内容と一致する Organization、Product、Article、FAQ の構造化データ。
• XML サイトマップ、最終更新日、新しいコンテンツのための IndexNow 送信。

テクニカル AEO が必要なのは誰で、他のサービスとどう違うのですか？

テクニカル AEO は、回答エンジンへのアクセスが不確かなすべてのサイト向けです。Cloudflare などのファイアウォールの背後にあるサイト、JavaScript フレームワークで構築されたサイト、最近移行したサイト、セキュリティチームがマーケティングに知らせずにボットルールを追加したサイトなどです。先週どの AI クローラーが料金ページを取得したか答えられないなら、対象になります。

業種によってはこうした問題がより頻繁に起こります。EC ブランドはファセット URL と商品フィードを伴う大規模なカタログを運用しており、クロールの浪費と古いデータが重要なページを埋もれさせます。さらに ChatGPT ショッピングでは、承認されたパートナー向けの別のフィード経路が加わります。不動産サイトは物件をスクリプトで読み込むことが多く、ホテルや旅行ブランドはクローラーが扱いにくい予約エンジンを経由させることがよくあります。

このサービスは修正を実装するもので、AI 上の存在感全体を診断したり、コンテンツを書いたりはしません。AEO 診断はエンジンの語る内容を記録してすべてのレイヤーの問題を見つけ、AEO コンテンツ制作はページを作り、AI 可視性トラッキングは引用を継続的にレポートします。テクニカル AEO は、他の3つが無駄にならないようにするレイヤーです。

robots.txt でどの AI クローラーを許可すべきですか？

ページを回答に載せるクローラーを許可し、学習用クローラーについては別途、経営判断を行います。この2つを混同することが、AI クローラーのアクセスで最もよく見る失敗です。

OpenAI のクローラーに関するドキュメントによると、OAI-SearchBot は ChatGPT 検索にサイトを表示し、robots.txt に従い、変更を約24時間で反映します。拒否したサイトは検索の回答に表示されません。GPTBot は学習データを収集し、ブロックしても学習を拒否するだけです。Perplexity のボットガイドでは、PerplexityBot は学習に使われない検索用クローラーとされています。Anthropic のヘルプセンターは、検索品質のための Claude-SearchBot と学習のための ClaudeBot を分けています。Google のクローラーに関するドキュメントでは、AI Overviews と AI Mode は Googlebot を使い、Google-Extended はクローラーではなく、Gemini の学習と Gemini アプリのグラウンディングを対象とし、Google 検索には影響しない制御トークンだと説明されています。Copilot のクロールは Bingbot が行い、Copilot 専用のクローラーはありません。

Cloudflare が貴社サイトで AI クローラーをブロックしていませんか？

robots.txt が開いているように見えても、ブロックされている可能性があります。Cloudflare は2025年7月1日にデフォルト設定を変更し、対価を支払わない AI クローラーをブロックするようにしました。2026年6月のボットレポートでは、すべての新規ドメインで AI の学習用クローラーがデフォルトでブロックされるとし、学習がクローラーのリクエストの52%を占めると述べています。

Cloudflare のマネージド robots.txt では、search=yes、ai-train=no のようなコンテンツシグナルの行を追加し、GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot を拒否できます。多くのブランドにとって妥当な設定ですが、当社は Cloudflare のルール側でも検索用クローラーが許可されたままになっているかを確認します。Pay per crawl はクローラーに HTTP 402 Payment Required を返すことがあるため、歓迎するつもりのボットに対してログに402が出ていれば注意が必要です。また、Cloudflare は2025年8月に Perplexity が申告されていないクローラーを使っていると報告し、認証済みボットのリストから外しました。認証済みボットだけを通すルールでは、PerplexityBot について意図的な判断が必要です。

AI 向けの構造化データは引用に役立ちますか？

直接には役立ちません。当社はこれを引用を得る手段として販売しません。Google の AI 最適化ガイドは、生成 AI 検索に構造化データは必須ではなく、追加すべき特別な schema.org マークアップもないとしながら、一般的な SEO のために使い続けることを勧めています。

それでも当社は構造化データを丁寧に実装します。エンティティ情報を一貫した1か所に記述できるからです。LinkedIn、Wikidata、G2、Google ビジネス プロフィールへの sameAs リンクを持つ Organization のマークアップは、社名、カテゴリ、所在地をどこに表示されても一貫させるのに役立ちます。AI 検索で成功するための Google のガイダンスは、構造化データが表示内容と一致しなければならないとしているため、訪問者に見えないテキストを説明する FAQ やレビューのマークアップは削除します。

回答エンジンが読めるように、ページはどう構築すべきですか？

サーバーが送る HTML の中に、質問と一致する見出しの下、冒頭近くに答えを置きます。すべてのクローラーが JavaScript を実行すると想定しないため、主要な各テンプレートをスクリプトをオフにしてテストし、消えてしまうものを修正します。

レンダリング以外にも、canonical タグ、ステータスコード、リダイレクトチェーン、重複パスを確認します。パラメータやソフト404に取得を浪費するクローラーは、引用してほしいページにたどり着かないかもしれないからです。canonical は見た目以上に重要です。Gradial の2026年7月の旅行業界の調査では、canonical URL の不一致が原因で一度も引用されなかったブランドがありました。重要な各ページには、目に見える最終更新日、整った見出しの階層、画像ではなく本物の table マークアップによる表を用意します。Google は特別なファイル、マークアップ、Markdown のコピーは不要で、コンテンツを細かく分割する必要もないとしているため、ページはそのまま読みやすい形に保ちます。

サイトが AI の回答から外れてしまう技術的な失敗は？

最も損害が大きいのは、検索用クローラーまで巻き込む広範なブロックです。スクレイパー対策のワイルドカードの disallow、CDN のボット対策モード、ファイアウォールのチャレンジページが、Googlebot は通しながら OAI-SearchBot や PerplexityBot を締め出すことがあります。従来の順位は正常に見えるため、誰も気づきません。

次はレンダリングのギャップです。商品の詳細、価格、FAQ の答えが読み込み後に JavaScript で挿入されるため、ブラウザエンジンのない取得では空のテンプレートしか見えません。続いて、ページと矛盾するマークアップです。訪問者が読めない質問に対する FAQ の構造化データや、古い住所を記載した Organization の構造化データなどです。最後は発見のギャップで、lastmod のないサイトマップ、送信されたことのない新しいページ、認証されていない Bing Webmaster Tools です。Copilot の背後のクローラーは Bingbot なので、これは重要です。

国際的なサイトには固有の失敗もあります。UAE とインドに1つのドメインで対応しているサイトでは、クローラーを誤ったバージョンにジオリダイレクトしたり、リダイレクト先を指す hreflang をページに付けたりしていることがあります。当社は各市場の URL をクローラーの視点でテストし、すべてのバージョンがそれぞれのアドレスで到達可能であることを確認します。

修正が実際に効いたことをどう確認しますか？

サーバーログを読みます。robots.txt の変更は意図を示しますが、適切な URL で OAI-SearchBot、PerplexityBot、Claude-SearchBot に対する200レスポンスがあって初めてアクセスが証明されます。

Perplexity のようにベンダーが IP 範囲を公開している場合は、ユーザーエージェントをそれと照合し、なりすましのボットに惑わされないようにします。その後、更新したサイトマップを送信し、Bing 向けに IndexNow を送り、Search Console の生成 AI パフォーマンスレポートと Bing Webmaster Tools の AI Performance で引用されたページを監視します。継続的な引用のレポートは、当社の AI 可視性トラッキングサービスが担います。

ログからは、クロールの規模とそれが返す価値の関係も分かります。Cloudflare の2025年7月の数字では、OpenAI のクロール対参照の比率は約750対1でした。そのため当社は、訪問者を送るボットとデータを集めるだけのボットを分け、AI のトラフィックを一律に扱うのではなく、両方を貴社チームにご報告します。

テクニカル AEO の最初の90日間はどう進みますか？

1〜2週目はクローラーのアクセスをマッピングし、緊急の robots.txt と CDN の修正を実装します。3〜8週目はレンダリング、構造化データ、発見に取り組みます。9〜12週目はすべてをログで検証し、今後のリリース後の再確認の仕組みを整えます。

初期の価値の大半はアクセスの修正から生まれます。OpenAI によると、OAI-SearchBot は robots.txt の変更を約24時間で反映するからです。レンダリングの作業は貴社のリリースサイクルとテンプレートの数に依存するため、より時間がかかります。90日目には、クローラーのアクセスマップ、修正前後のログの証拠、主要テンプレートのきれいな構造化データ、各リリース後に開発者が従える短いランブックがそろいます。

製品ローンチの準備中であれば、発表前にチェックを予定し、新しいページが初日からクロール可能で、サイトマップに掲載され、IndexNow で送信されるようにします。Perplexity SEO や Google AI Overviews の取り組みといったエンジン別のフォローアップは、機能していると分かっているアクセスの上に積み上げられます。

llms.txt ファイルは必要ですか？

低コストで追加できますが、引用が変わると期待しないでください。Answer.AI の Jeremy Howard 氏が2024年9月に llms.txt を提案しましたが、Google の John Mueller 氏は、使っていると表明した AI サービスはないと述べ、meta keywords タグになぞらえています。

コーディングエージェントが読む開発者向けドキュメントには本当に役立ち、AI 企業が自社のドキュメント向けに公開しているのはそのためです。マーケティングサイトでは、本来のアクセスの作業が終わった後の任意の整理項目として扱います。