Technisches AEO, damit Antwortmaschinen Ihre Website erreichen, lesen und zitieren

Was deckt technisches AEO ab, was Content-Arbeit nicht leistet?

Es deckt alles zwischen dem Crawler einer Antwortmaschine und Ihren Texten ab: Berechtigungen, Auslieferung, Markup und Auffindbarkeit. Die inhaltliche Überarbeitung entscheidet, was auf einer Seite steht; diese Ebene entscheidet, ob eine Maschine es überhaupt erhält.

Wir behandeln es als eigenen Arbeitsbereich, weil die Fehler lautlos auftreten. Eine Website kann in der klassischen Suche gut ranken, während eine einzige Disallow-Zeile, eine Bot-Fight-Regel im CDN oder eine leere Pre-Render-Hülle eine oder mehrere Antwortmaschinen aussperrt. Unser AEO-Audit deckt diese Probleme auf; diese Leistung behebt sie und sorgt dafür, dass sie nach jedem Redesign, jeder Migration und jeder Sicherheitsänderung behoben bleiben.

• robots.txt-Regeln für jedes Such-, Nutzerabruf- und Trainings-Token.
• CDN- und Web-Application-Firewall-Regeln, die vor robots.txt greifen.
• Serverseitig gerendertes HTML für die Kernantwort auf jeder wichtigen Seite.
• Organization-, Product-, Article- und FAQ-Schema, das dem entspricht, was Besucher sehen.
• XML-Sitemaps, Aktualisierungsdaten und IndexNow-Pings für neue Inhalte.

Wer braucht technisches AEO, und wie unterscheidet es sich von unseren anderen Leistungen?

Technisches AEO ist für jede Website gedacht, deren Zugang zu Antwortmaschinen ungewiss ist: Websites hinter Cloudflare oder einer anderen Firewall, Websites auf JavaScript-Frameworks, kürzlich migrierte Websites und Websites, deren Sicherheitsteam Bot-Regeln eingeführt hat, ohne das Marketing zu informieren. Wenn Sie nicht sagen können, welche KI-Crawler letzte Woche Ihre Preisseite abgerufen haben, kommen Sie infrage.

Manche Branchen stoßen häufiger auf diese Probleme. Ecommerce-Marken betreiben große Kataloge mit facettierten URLs und Produkt-Feeds, in denen Crawl-Verschwendung und veraltete Daten die wichtigen Seiten verdecken, und ChatGPT Shopping ergänzt für zugelassene Partner einen eigenen Feed-Weg. Immobilienportale laden Inserate oft per Skript, und Hotels sowie Reisemarken leiten Seiten häufig über Buchungsmaschinen, mit denen Crawler schlecht zurechtkommen.

Diese Leistung setzt Korrekturen um; sie diagnostiziert nicht Ihre gesamte KI-Präsenz und schreibt keine Inhalte. Das AEO-Audit erfasst, was Maschinen sagen, und findet Probleme auf allen Ebenen, AEO-Inhalte liefern die Seiten, und KI-Sichtbarkeits-Tracking berichtet Zitierungen über die Zeit. Technisches AEO ist die Ebene, die sicherstellt, dass die anderen drei nicht ins Leere laufen.

Welche KI-Crawler sollten Sie in robots.txt zulassen?

Lassen Sie die Crawler zu, die Seiten in Antworten bringen, und treffen Sie über Trainings-Crawler eine separate geschäftliche Entscheidung. Beides zu verwechseln ist der häufigste Fehler, den wir beim Zugriff von KI-Crawlern sehen.

Laut der Crawler-Dokumentation von OpenAI zeigt OAI-SearchBot Websites in der ChatGPT-Suche an, befolgt robots.txt und übernimmt Änderungen in etwa 24 Stunden; Websites, die sich abmelden, erscheinen nicht in Suchantworten. GPTBot sammelt Trainingsdaten, und eine Sperre schließt Sie nur vom Training aus. Der Bot-Leitfaden von Perplexity beschreibt PerplexityBot als Such-Crawler, der nicht für das Training genutzt wird. Das Hilfecenter von Anthropic trennt Claude-SearchBot für die Suchqualität von ClaudeBot für das Training. Die Crawler-Dokumentation von Google erklärt, dass AI Overviews und AI Mode Googlebot nutzen und dass Google-Extended ein Steuerungs-Token und kein Crawler ist, das Gemini-Training und Grounding in Gemini Apps abdeckt, ohne die Google-Suche zu beeinflussen. Bingbot crawlt für Copilot; einen eigenen Copilot-Crawler gibt es nicht.

Blockiert Cloudflare KI-Crawler auf Ihrer Website?

Möglicherweise, selbst wenn Ihre robots.txt offen aussieht. Cloudflare hat am 1. Juli 2025 seine Standardeinstellung geändert und blockiert KI-Crawler, sofern sie nicht bezahlen; laut seinem Bot-Bericht vom Juni 2026 werden KI-Trainings-Crawler auf allen neuen Domains standardmäßig blockiert, wobei Training 52 % der Crawler-Anfragen ausmacht.

Die verwaltete robots.txt von Cloudflare kann eine Content-Signal-Zeile wie search=yes, ai-train=no ergänzen und GPTBot, ClaudeBot, Google-Extended, Applebot-Extended und CCBot ausschließen. Für viele Marken ist das eine sinnvolle Einstellung, doch wir prüfen, ob die Such-Crawler auch in den Cloudflare-Regeln zugelassen bleiben. Pay per Crawl kann einem Crawler mit HTTP 402 Payment Required antworten – gut zu wissen, wenn Ihre Logs 402-Antworten an Bots zeigen, die Sie eigentlich willkommen heißen wollten. Außerdem berichtete Cloudflare im August 2025, dass Perplexity nicht deklarierte Crawler einsetze, und strich Perplexity von der Liste verifizierter Bots; Regeln, die nur verifizierte Bots zulassen, erfordern daher eine bewusste Entscheidung zu PerplexityBot.

Hilft Schema-Markup für KI dabei, zitiert zu werden?

Nicht direkt, und wir verkaufen es nicht als Hebel für Zitierungen. Googles Leitfaden zur KI-Optimierung besagt, dass strukturierte Daten für die generative KI-Suche nicht erforderlich sind und es kein spezielles schema.org-Markup dafür gibt, empfiehlt aber, sie für die allgemeine SEO weiter zu nutzen.

Wir implementieren Schema dennoch sorgfältig, weil es Ihre Entitätsfakten an einer einheitlichen Stelle festhält. Organization-Markup mit sameAs-Links zu Ihren Einträgen bei LinkedIn, Wikidata, G2 oder im Google-Unternehmensprofil hilft, Name, Kategorie und Standorte überall einheitlich zu halten. Googles Leitlinien zum Erfolg in der KI-Suche ergänzen, dass strukturierte Daten mit dem sichtbaren Inhalt übereinstimmen müssen; deshalb entfernen wir FAQ- oder Bewertungs-Markup, das Text beschreibt, den Besucher nicht sehen können.

Wie sollten Seiten aufgebaut sein, damit Antwortmaschinen sie lesen können?

Platzieren Sie die Antwort in dem HTML, das der Server ausliefert, weit oben und unter einer Überschrift, die der Frage entspricht. Wir gehen nicht davon aus, dass jeder Crawler JavaScript ausführt, daher testen wir jedes wichtige Template mit deaktivierten Skripten und beheben alles, was dabei verschwindet.

Über das Rendering hinaus prüfen wir Canonical-Tags, Statuscodes, Weiterleitungsketten und doppelte Pfade, denn ein Crawler, der Abrufe an Parameter oder Soft-404-Seiten verschwendet, erreicht die Seite, die zitiert werden soll, womöglich nie. Canonicals sind wichtiger, als sie aussehen: Die Reisestudie von Gradial vom Juli 2026 fand eine Marke, die wegen einer abweichenden Canonical-URL nie zitiert wurde. Jede wichtige Seite erhält ein sichtbares Aktualisierungsdatum, eine saubere Überschriftenstruktur und Tabellen in echtem Tabellen-Markup statt als Bilder. Google gibt an, dass keine speziellen Dateien, kein spezielles Markup und keine Markdown-Kopien nötig sind und Inhalte nicht in winzige Teile zerlegt werden müssen; daher halten wir Seiten vollständig und gut lesbar.

Welche technischen Fehler halten Websites aus KI-Antworten heraus?

Der folgenschwerste Fehler ist eine pauschale Sperre, die Such-Crawler erfasst. Ein Wildcard-Disallow gegen Scraper, ein Bot-Fight-Modus im CDN oder eine Firewall-Challenge-Seite kann OAI-SearchBot oder PerplexityBot aussperren, während Googlebot weiterhin durchkommt – die klassischen Rankings sehen also gut aus, und niemand bemerkt es.

Danach folgen Rendering-Lücken: Produktdetails, Preise oder FAQ-Antworten, die erst nach dem Laden per JavaScript eingefügt werden, sodass ein Abruf ohne Browser-Engine ein leeres Template sieht. Dann Markup, das der Seite widerspricht, etwa FAQ-Schema für Fragen, die kein Besucher lesen kann, oder Organization schema mit einer alten Adresse. Schließlich Lücken bei der Auffindbarkeit: Sitemaps ohne lastmod-Daten, nie eingereichte neue Seiten und nie verifizierte Bing Webmaster Tools – relevant, weil Bingbot der Crawler hinter Copilot ist.

Internationale Websites haben eigene Fehlerquellen. Eine Website, die die VAE und Indien von einer Domain aus bedient, leitet Crawler unter Umständen per Geo-Redirect auf die falsche Version um oder versieht Seiten mit hreflang-Angaben, die auf Weiterleitungen zeigen. Wir testen die URLs jedes Markts so, wie ein Crawler sie sieht, damit jede Version unter ihrer eigenen Adresse erreichbar ist.

Wie bestätigen Sie, dass die Korrekturen tatsächlich wirken?

Wir lesen die Server-Logs. Eine Änderung in robots.txt belegt die Absicht; eine 200-Antwort an OAI-SearchBot, PerplexityBot oder Claude-SearchBot auf den richtigen URLs belegt den Zugriff.

Wir gleichen User-Agents mit veröffentlichten IP-Bereichen ab, wo Anbieter sie bereitstellen, wie Perplexity es tut, damit gefälschte Bots das Bild nicht verzerren. Danach reichen wir aktualisierte Sitemaps ein, senden IndexNow-Pings für Bing und beobachten den Leistungsbericht zu generativer KI in der Search Console sowie AI Performance in den Bing Webmaster Tools für zitierte Seiten. Das laufende Reporting der Zitierungen übernimmt unser KI-Sichtbarkeits-Tracking.

Die Logs zeigen auch das Verhältnis von Crawling-Umfang zu zurückgegebenem Nutzen. Laut den Zahlen von Cloudflare vom Juli 2025 lag das Verhältnis von Crawls zu Verweisen bei OpenAI bei etwa 750 zu 1; deshalb trennen wir Bots, die Besucher schicken, von Bots, die nur Daten sammeln, und berichten Ihrem Team beides, statt allen KI-Traffic gleich zu behandeln.

Wie sehen die ersten 90 Tage technisches AEO aus?

In den Wochen eins und zwei erfassen wir den Crawler-Zugriff und setzen die dringenden Korrekturen an robots.txt und CDN um. Die Wochen drei bis acht widmen sich Rendering, Schema und Auffindbarkeit. In den Wochen neun bis zwölf verifizieren wir alles in den Logs und richten erneute Prüfungen nach künftigen Releases ein.

Der größte Teil des frühen Nutzens stammt aus Zugriffskorrekturen, da OAI-SearchBot laut OpenAI Änderungen an robots.txt in etwa 24 Stunden übernimmt. Rendering-Arbeit dauert länger, weil sie von Ihrem Release-Zyklus und der Zahl Ihrer Templates abhängt. Nach 90 Tagen haben Sie eine Übersicht des Crawler-Zugriffs, Log-Nachweise vorher und nachher, sauberes Schema auf den wichtigsten Templates und ein kurzes Runbook, dem Ihre Entwickler nach jedem Release folgen können.

Wenn Sie eine Produkteinführung vorbereiten, planen wir die Prüfungen vor der Ankündigung ein, damit neue Seiten vom ersten Tag an crawlbar, in Sitemaps gelistet und über IndexNow eingereicht sind. Maschinenspezifische Folgearbeit, etwa Perplexity-SEO oder die Arbeit an Google AI Overviews, kann dann auf einem Zugriff aufbauen, von dem Sie wissen, dass er funktioniert.

Brauchen Sie eine llms.txt-Datei?

Sie können mit wenig Aufwand eine anlegen, sollten aber keine Veränderung bei den Zitierungen erwarten. Jeremy Howard von Answer.AI hat llms.txt im September 2024 vorgeschlagen, und John Mueller von Google sagte, keiner der KI-Dienste habe angegeben, die Datei zu nutzen, und verglich sie mit dem Meta-Keywords-Tag.

Wirklich nützlich ist sie für Entwicklerdokumentation, die Coding-Agenten lesen – deshalb veröffentlichen KI-Unternehmen eine für ihre eigenen Dokumentationen. Bei einer Marketing-Website behandeln wir sie als optionale Aufräumarbeit, nachdem die eigentliche Zugriffsarbeit erledigt ist.