llms.txt erklärt: was die Datei leistet, wer sie liest und ob Sie eine brauchen

Was ist llms.txt?

Es handelt sich um den Vorschlag für eine einfache Markdown-Datei im Stammverzeichnis einer Website, die Sprachmodellen eine kurze Zusammenfassung der Website und Links zu ihren nützlichsten Seiten liefert. Jeremy Howard von Answer.AI veröffentlichte die Idee am 3. September 2024; dokumentiert ist der Vorschlag auf llmstxt.org.

Die Überlegung war vernünftig: Webseiten sind voller Navigation, Skripte und Layout, die sie für ein Modell mit begrenztem Kontextfenster schwer lesbar machen. Eine saubere, kuratierte Zusammenfassung könnte einem Modell helfen, schnell das richtige Material zu finden. Der Vorschlag zielte besonders auf Dokumentation, bei der ein Entwickler oder ein Coding-Assistent die Referenzseiten braucht, nicht die Marketing-Website.

Was der Vorschlag nicht bewirkt hat: Er verpflichtet niemanden, die Datei zu lesen. Es ist eine Anregung, die ihr Autor veröffentlicht hat, kein von Suchmaschinen übernommener Standard, und genau dieser Unterschied ist der Kern der Debatte.

Nutzt Google oder eine KI-Suchmaschine die Datei?

Soweit bestätigt, nein. Wie Search Engine Land berichtete, sagte Gary Illyes von Google, Google unterstütze die Datei nicht, und John Mueller sagte, „keiner der KI-Dienste hat erklärt, LLMs.txt zu nutzen“, und verglich sie mit dem alten Meta-Keywords-Tag, das Suchmaschinen irgendwann ignorierten.

Wir haben keine öffentliche Aussage von OpenAI, Perplexity, Microsoft, Anthropic oder Google gefunden, wonach ihre Antwortmaschinen die Datei lesen, wenn sie entscheiden, was sie zitieren. Das kann sich ändern, und wenn eine große Antwortmaschine die Unterstützung dokumentiert, aktualisieren wir diese Seite. Bis dahin verkauft jede Agentur, die die Datei als Hebel für Zitierungen darstellt, eine Hoffnung, keinen dokumentierten Mechanismus.

Ein Vergleich mit dem, was die Systeme tatsächlich dokumentieren, lohnt sich. OpenAI veröffentlicht, wie OAI-SearchBot robots.txt befolgt. Perplexity dokumentiert PerplexityBot. Anthropic dokumentiert Claude-SearchBot. Google dokumentiert, dass AI Overviews und AI Mode auf Googlebot und den normalen Index zurückgreifen. Das sind die Stellschrauben mit erklärter Wirkung.

Was brauchen Sie laut Google stattdessen für die KI-Suche?

Ganz normale SEO. Googles im Juli 2026 aktualisierter Leitfaden zur KI-Optimierung sagt, dass die Optimierung für generative KI-Suche „immer noch SEO“ ist und dass keine speziellen Dateien, kein besonderes Markup und kein Markdown nötig sind.

Googles Dokumentation zu KI-Funktionen ergänzt, dass eine Seite lediglich indexiert und für ein Snippet geeignet sein muss, um in AI Overviews oder AI Mode zu erscheinen, ohne weitere Anforderungen und ohne besondere Optimierungen. Google sagt außerdem, dass es kein spezielles schema.org-Markup für die generative KI-Suche gibt. Zusammengenommen ist Googles Position eindeutig: Eine kuratierte Markdown-Zusammenfassung Ihrer Website brauchen seine KI-Funktionen nicht.

Worin unterscheidet sich die llms.txt-Datei von robots.txt und einer Sitemap?

Robots.txt und Sitemaps sind etablierte Dateien, die Crawler dokumentiert auswerten; die neuere Datei ist ein Vorschlag ohne bestätigten Leser unter den Antwortmaschinen. Die Tabelle zeigt die praktischen Unterschiede.

Wo ist die Datei tatsächlich nützlich?

Vor allem bei Entwicklerdokumentation. Mehrere KI-Unternehmen veröffentlichen die Datei für ihre eigenen Entwicklerdokumentationen, wo sie Coding-Agenten und den KI-Assistenten von Entwicklern einen sauberen Index der Referenzseiten bietet. Die Commerce-Dokumentation von OpenAI für Händler ist zum Beispiel als Datei llms-full.txt veröffentlicht.

Wenn Ihr Unternehmen eine API, ein SDK oder technische Dokumentation anbietet, ist eine solche Datei eine sinnvolle Gefälligkeit für Entwickler, die Ihre Dokumentation in ein KI-Tool einfügen oder einen Agenten nutzen, der nach der Datei sucht. Für eine typische Marketing-Website, ein Dienstleistungsunternehmen oder einen Onlineshop ist der Nutzen gering und nicht belegt. Sie schadet nicht und kostet wenig; ehrlicher lässt es sich kaum zusammenfassen.

Sollten Sie trotzdem eine veröffentlichen?

Wenn es eine Stunde dauert und Sie Dokumentation oder eine klare Seitenhierarchie haben, spricht nichts dagegen. Planen Sie es aber als Hygiene ein, nicht als Strategie. Zahlen Sie keinen monatlichen Retainer dafür und erwarten Sie nicht, dass sich dadurch ändert, was ChatGPT oder Google AI Overviews über Sie sagen. Wenn jemand die Datei als Grund dafür präsentiert, dass Sie in KI-Antworten fehlen, bitten Sie um die entsprechende Dokumentation der jeweiligen Antwortmaschine; bislang gibt es keine.

Wenn Sie eine veröffentlichen, halten Sie sie korrekt und gepflegt. Eine veraltete Zusammenfassung mit eingestellten Produkten oder alten Preisen ist schlechter als keine, denn sie schafft einen weiteren Ort, an dem Ihre Fakten auseinanderlaufen können. Verlinken Sie nur Seiten, die gelesen werden sollen, stellen Sie sicher, dass diese Seiten selbst crawlbares HTML sind, und nehmen Sie die Datei in die Liste der Dateien auf, die Sie bei jeder Änderung der Seitenstruktur prüfen.

Welche KI-Dateien und Einstellungen beachten die Systeme tatsächlich?

Tokens in robots.txt und, bei Cloudflare, die verwaltete robots.txt und Content Signals. An diesen Stellen legen Sie fest, was KI-Crawler dürfen, und die Anbieter dokumentieren, wie sie darauf reagieren.

Entscheidend ist, Suche und Training zu trennen. OAI-SearchBot, PerplexityBot und Claude-SearchBot rufen Seiten ab, damit diese Produkte sie anzeigen und zitieren können; GPTBot, ClaudeBot und CCBot sammeln Trainingsdaten. Google-Extended ist gar kein Crawler, sondern ein Steuerungs-Token in robots.txt: Laut Google regelt es das Training von Gemini und das Grounding in Gemini Apps und hat keinen Einfluss auf die Aufnahme in die Google-Suche, während AI Overviews und AI Mode Googlebot nutzen. Applebot-Extended funktioniert genauso für das Training der Foundation-Modelle von Apple und crawlt nicht.

Die verwaltete robots.txt von Cloudflare kann eine Zeile wie Content-signal: search=yes, ai-train=no ergänzen und die wichtigsten Trainings-Crawler für Sie ausschließen. So kann ein Unternehmen das Training ablehnen und trotzdem in der KI-Suche sichtbar bleiben, und genau diese Entscheidung müssen die meisten Unternehmen tatsächlich treffen. Sie hat weit größere Folgen als die Frage, ob Sie eine Markdown-Zusammenfassung veröffentlichen.

Was sollten Sie beheben, bevor Sie darüber nachdenken?

Beheben Sie die Punkte, die die Systeme dokumentiert haben, ungefähr in dieser Reihenfolge. Jeder davon hat eine erklärte oder beobachtbare Wirkung darauf, ob Antwortmaschinen Sie erreichen und zitieren können.

• Robots.txt: Googlebot, Bingbot, OAI-SearchBot, PerplexityBot, Claude-SearchBot und Applebot zulassen; separat über Trainings-Tokens wie GPTBot, ClaudeBot, Google-Extended, Applebot-Extended und CCBot entscheiden.
• Cloudflare: Seit dem 1. Juli 2025 blockiert die Standardeinstellung KI-Crawler, sofern sie nicht bezahlen; prüfen Sie daher die Einstellungen für KI-Crawler und die verwaltete robots.txt, statt Zugriff vorauszusetzen.
• Server-Logs: Bestätigen Sie, dass Such-Crawler HTTP-200-Antworten erhalten, keine Challenges oder Fehler.
• Rendering: Wichtige Inhalte als serverseitig gerendertes HTML ausliefern, nicht nur über clientseitiges JavaScript.
• Inhalte: Überschriften in Frageform mit direkter Antwort darunter, FAQ-Blöcke und sichtbare Aktualisierungsdaten.
• Entitäten: konsistente Unternehmensdaten im Organization schema, sameAs-Links, Wikidata und auf den Bewertungs- oder Verzeichnisseiten, die Ihre Käufer nutzen.

Woran würden Sie erkennen, dass die Systeme die Datei nutzen?

Achten Sie auf offizielle Dokumentation und auf Ihre eigenen Server-Logs. Wenn OpenAI, Google, Perplexity, Microsoft oder Anthropic die Datei in ihre Crawler- oder Webmaster-Dokumentation aufnehmen, ist das das Signal, sie ernst zu nehmen.

Bis dahin zeigen Ihre Zugriffslogs, welche User-Agents /llms.txt anfragen und wie oft. Anfragen eines bekannten Such-Crawlers wären bemerkenswert, auch wenn ein Abruf allein nicht beweist, dass der Inhalt die Antworten beeinflusst. Der eigentliche Test ist derselbe, den wir für jede AEO-Änderung verwenden: ein festes Prompt-Set, das vorher und nachher ausgeführt und Monat für Monat verglichen wird.