Fichier llms.txt : à quoi il sert, qui le lit et en avez-vous besoin ?

Qu'est-ce que le fichier llms.txt ?

Il s'agit d'une proposition de fichier Markdown simple, placé à la racine d'un site, qui donne aux modèles de langage un bref résumé du site et des liens vers ses pages les plus utiles. Jeremy Howard, d'Answer.AI, a publié l'idée le 3 septembre 2024, et la proposition est documentée sur llmstxt.org.

Le raisonnement se tenait : les pages web sont chargées de navigation, de scripts et de mise en page qui les rendent difficiles à lire pour un modèle dans une fenêtre de contexte limitée ; un résumé propre et sélectionné pourrait donc aider un modèle à trouver rapidement le bon contenu. La proposition visait surtout la documentation, où un développeur ou un assistant de code cherche les pages de référence, pas le site marketing.

Ce que la proposition n'a pas fait, c'est obliger qui que ce soit à lire le fichier. C'est une suggestion publiée par son auteur, pas une norme adoptée par les moteurs de recherche, et cette distinction est au cœur du débat.

Google ou un moteur de recherche IA utilisent-ils ce fichier ?

Pas à notre connaissance, en tout cas rien de confirmé. Comme l'a rapporté Search Engine Land, Gary Illyes, de Google, a déclaré que Google ne le prend pas en charge, et John Mueller a affirmé qu'« aucun des services d'IA n'a dit utiliser LLMs.txt », en le comparant à l'ancienne balise meta keywords que les moteurs ont appris à ignorer.

Nous n'avons trouvé aucune déclaration publique d'OpenAI, Perplexity, Microsoft, Anthropic ou Google indiquant que leurs moteurs de réponse lisent ce fichier pour décider quoi citer. Cela peut changer, et si un grand moteur documente sa prise en charge, nous mettrons cette page à jour. D'ici là, toute agence qui présente ce fichier comme un levier de citation vend un espoir, pas un mécanisme documenté.

Il est utile de comparer avec ce que les moteurs documentent réellement. OpenAI publie la manière dont OAI-SearchBot respecte robots.txt. Perplexity documente PerplexityBot. Anthropic documente Claude-SearchBot. Google précise qu'AI Overviews et AI Mode reposent sur Googlebot et son index habituel. Ce sont ces réglages-là qui ont des effets déclarés.

Selon Google, de quoi avez-vous besoin à la place pour la recherche IA ?

De SEO classique. Le guide d'optimisation pour l'IA de Google, mis à jour en juillet 2026, affirme qu'optimiser pour la recherche générative « reste du SEO » et qu'aucun fichier, balisage ou Markdown particulier n'est nécessaire.

La documentation de Google sur ses fonctionnalités IA ajoute qu'une page doit simplement être indexée et éligible à l'affichage d'un extrait pour apparaître dans AI Overviews ou AI Mode, sans exigence supplémentaire ni optimisation particulière. Google précise aussi qu'il n'existe pas de balisage schema.org spécial pour la recherche générative. Au total, la position de Google est claire : un résumé Markdown sélectionné de votre site n'est pas quelque chose dont ses fonctionnalités IA ont besoin.

En quoi diffère-t-il de robots.txt et d'un sitemap ?

Robots.txt et les sitemaps sont des fichiers établis que les robots documentent et prennent en compte ; le nouveau fichier est une proposition sans lecteur confirmé parmi les moteurs de réponse. Le tableau ci-dessous résume les différences pratiques.

Dans quels cas le fichier est-il réellement utile ?

Surtout pour la documentation développeur. Plusieurs entreprises d'IA publient ce fichier pour leur propre documentation développeur, où il offre aux agents de code et aux assistants IA des développeurs un index propre des pages de référence. La documentation commerce d'OpenAI destinée aux marchands, par exemple, est publiée sous forme de fichier llms-full.txt.

Si votre entreprise propose une API, un SDK ou une documentation technique, en publier un est une attention raisonnable envers les développeurs qui collent votre documentation dans un outil d'IA ou utilisent un agent qui recherche ce fichier. Pour un site marketing classique, une société de services ou une boutique, le bénéfice est faible et non démontré. Il ne fait pas de mal et coûte peu : c'est à peu près le résumé le plus honnête.

Faut-il en publier un malgré tout ?

Si cela prend une heure et que vous avez une documentation ou une arborescence claire, allez-y, mais budgétez-le comme de l'hygiène, pas comme une stratégie. Ne payez pas un forfait mensuel pour cela, et n'attendez pas qu'il change ce que ChatGPT ou Google AI Overviews disent de vous. Si quelqu'un vous le présente comme la raison de votre absence des réponses IA, demandez-lui la documentation du moteur concerné ; à ce jour, elle n'existe pas.

Si vous en publiez un, gardez-le exact et à jour. Un résumé obsolète qui liste des produits retirés ou d'anciens tarifs est pire que pas de résumé du tout, car il ajoute un endroit de plus où vos informations peuvent diverger. Ne liez que les pages que vous voulez voir lues, vérifiez que ces pages sont elles-mêmes en HTML explorable, et ajoutez-le à la liste des fichiers à revoir à chaque changement de structure du site.

Quels fichiers et réglages IA les moteurs respectent-ils vraiment ?

Les identifiants robots.txt et, chez Cloudflare, le robots.txt géré et les signaux de contenu. C'est là que vous décidez de ce que les robots IA peuvent faire, et les éditeurs documentent la façon dont ils y réagissent.

L'essentiel est de séparer la recherche de l'entraînement. OAI-SearchBot, PerplexityBot et Claude-SearchBot récupèrent les pages pour que ces produits puissent les afficher et les citer ; GPTBot, ClaudeBot et CCBot collectent des données d'entraînement. Google-Extended n'est pas du tout un robot, mais un identifiant de contrôle dans robots.txt : Google indique qu'il régit l'entraînement de Gemini et l'ancrage des applications Gemini, sans effet sur l'inclusion dans la recherche Google, tandis qu'AI Overviews et AI Mode utilisent Googlebot. Applebot-Extended fonctionne de la même manière pour l'entraînement des modèles de fondation d'Apple et n'explore rien.

Le robots.txt géré de Cloudflare peut ajouter une ligne comme Content-signal: search=yes, ai-train=no et interdire pour vous les principaux robots d'entraînement. Une entreprise peut ainsi refuser l'entraînement tout en restant visible dans la recherche IA, ce qui est la décision que la plupart des entreprises doivent réellement prendre. C'est un choix bien plus lourd de conséquences que de publier ou non un résumé Markdown.

Que corriger avant même d'y penser ?

Corrigez les éléments que les moteurs ont documentés, à peu près dans cet ordre. Chacun a un effet déclaré ou observable sur la capacité des moteurs de réponse à vous atteindre et à vous citer.

• Robots.txt : autorisez Googlebot, Bingbot, OAI-SearchBot, PerplexityBot, Claude-SearchBot et Applebot ; décidez séparément pour les identifiants d'entraînement comme GPTBot, ClaudeBot, Google-Extended, Applebot-Extended et CCBot.
• Cloudflare : depuis le 1er juillet 2025, son réglage par défaut bloque les robots IA sauf s'ils paient ; vérifiez donc les paramètres des robots IA et du robots.txt géré au lieu de supposer que l'accès est ouvert.
• Logs serveur : vérifiez que les robots de recherche reçoivent des réponses HTTP 200, et non des challenges ou des erreurs.
• Rendu : servez le contenu clé en HTML rendu côté serveur, pas uniquement via du JavaScript côté client.
• Contenu : intertitres sous forme de questions avec une réponse directe en dessous, blocs FAQ et dates de mise à jour visibles.
• Entités : des informations cohérentes sur l'entreprise dans l'Organization schema, les liens sameAs, Wikidata et les sites d'avis ou annuaires qu'utilisent vos acheteurs.

Comment savoir si les moteurs commencent à l'utiliser ?

Surveillez la documentation officielle et vos propres logs serveur. Si OpenAI, Google, Perplexity, Microsoft ou Anthropic ajoutent ce fichier à leur documentation sur les robots ou pour les webmasters, ce sera le signal pour le prendre au sérieux.

En attendant, vos logs d'accès montreront quels user agents demandent /llms.txt et à quelle fréquence. Des requêtes provenant d'un robot de recherche connu mériteraient d'être notées, même si une simple récupération ne prouve pas que le contenu influence les réponses. Le vrai test est celui que nous appliquons à chaque changement AEO : un ensemble fixe de requêtes lancé avant et après, comparé mois après mois.