File llms.txt: a cosa serve, chi lo legge e se Le serve davvero

Cos'è il file llms.txt?

È la proposta di un semplice file Markdown, collocato nella root di un sito, che fornisce ai modelli linguistici un breve riepilogo del sito e i link alle sue pagine più utili. Jeremy Howard di Answer.AI ha pubblicato l'idea il 3 settembre 2024, e la proposta è documentata su llmstxt.org.

Il ragionamento era sensato: le pagine web sono piene di navigazione, script e layout che le rendono scomode da leggere per un modello con una finestra di contesto limitata, quindi un riepilogo pulito e selezionato potrebbe aiutare un modello a trovare rapidamente il materiale giusto. La proposta si rivolgeva soprattutto alla documentazione, dove uno sviluppatore o un assistente di programmazione vuole le pagine di riferimento, non il sito di marketing.

Ciò che la proposta non ha fatto è creare un obbligo di leggere il file. È un suggerimento pubblicato dal suo autore, non uno standard adottato dai motori di ricerca, e questa distinzione è il cuore del dibattito.

Google o un motore di ricerca IA usano il file?

Non per quanto confermato finora. Come riportato da Search Engine Land, Gary Illyes di Google ha detto che Google non lo supporta, e John Mueller ha detto che "nessuno dei servizi IA ha dichiarato di usare LLMs.txt", paragonandolo al vecchio meta tag keywords che i motori di ricerca hanno imparato a ignorare.

Non abbiamo trovato alcuna dichiarazione pubblica di OpenAI, Perplexity, Microsoft, Anthropic o Google secondo cui i loro motori di risposta leggono il file per decidere cosa citare. La situazione potrebbe cambiare, e se un grande motore documenterà il supporto aggiorneremo questa pagina. Fino ad allora, qualsiasi agenzia presenti il file come leva per le citazioni vende una speranza, non un meccanismo documentato.

Vale la pena confrontarlo con ciò che i motori documentano davvero. OpenAI pubblica come OAI-SearchBot segue il robots.txt. Perplexity documenta PerplexityBot. Anthropic documenta Claude-SearchBot. Google documenta che AI Overviews e AI Mode si basano su Googlebot e sul suo indice normale. Questi sono i controlli con effetti dichiarati.

Cosa dice Google che serve invece per la ricerca IA?

La SEO ordinaria. La guida di Google all'ottimizzazione per l'IA, aggiornata a luglio 2026, afferma che ottimizzare per la ricerca con IA generativa "è ancora SEO" e che non servono file, markup o Markdown speciali.

La documentazione di Google sulle funzionalità IA aggiunge che, per comparire in AI Overviews o AI Mode, a una pagina basta essere indicizzata e idonea a mostrare uno snippet, senza requisiti aggiuntivi né ottimizzazioni speciali. Google dice anche che non esiste un markup schema.org speciale per la ricerca con IA generativa. Nel complesso la posizione di Google è chiara: un riepilogo Markdown selezionato del suo sito non è qualcosa di cui le sue funzionalità IA abbiano bisogno.

In cosa si differenzia da robots.txt e sitemap?

Robots.txt e sitemap sono file consolidati che i crawler documentano e rispettano; il file più recente è una proposta senza alcun lettore confermato tra i motori di risposta. La tabella seguente riassume le differenze pratiche.

Dove è davvero utile il file?

Soprattutto nella documentazione per sviluppatori. Diverse aziende IA pubblicano il file per la propria documentazione per sviluppatori, dove offre agli agenti di programmazione e agli assistenti IA degli sviluppatori un indice pulito delle pagine di riferimento. La documentazione commerce di OpenAI per i merchant, per esempio, è pubblicata come file llms-full.txt.

Se la sua azienda offre un'API, un SDK o documentazione tecnica, pubblicarne uno è una cortesia ragionevole verso gli sviluppatori che incollano la sua documentazione in uno strumento IA o usano un agente che cerca il file. Per un tipico sito di marketing, una società di servizi o un negozio, il beneficio è piccolo e non dimostrato. Non fa danni, costa poco, ed è più o meno il riepilogo più onesto.

Conviene pubblicarne uno comunque?

Se richiede un'ora e ha documentazione o una gerarchia di pagine chiara, proceda pure, ma lo metta a budget come igiene, non come strategia. Non paghi un canone mensile per questo, e non si aspetti che cambi ciò che ChatGPT o Google AI Overviews dicono di lei. Se qualcuno lo propone come il motivo per cui lei manca dalle risposte dell'IA, chieda di vedere la documentazione del motore in questione; finora non ne esiste alcuna.

Se decide di pubblicarlo, lo mantenga accurato e aggiornato. Un riepilogo obsoleto che elenca prodotti dismessi o vecchi prezzi è peggio di niente, perché aggiunge un altro punto in cui i suoi dati possono divergere. Colleghi solo le pagine che vuole far leggere, si assicuri che quelle pagine siano a loro volta HTML scansionabile e lo aggiunga all'elenco dei file da rivedere ogni volta che cambia la struttura del sito.

Quali file e impostazioni per l'IA rispettano davvero i motori?

I token del robots.txt e, su Cloudflare, il robots.txt gestito e i content signals. Sono i punti in cui decide cosa possono fare i crawler IA, e i fornitori documentano come rispondono.

La chiave è separare la ricerca dall'addestramento. OAI-SearchBot, PerplexityBot e Claude-SearchBot recuperano le pagine perché quei prodotti possano mostrarle e citarle; GPTBot, ClaudeBot e CCBot raccolgono dati di addestramento. Google-Extended non è affatto un crawler ma un token di controllo del robots.txt: Google dice che regola l'addestramento di Gemini e il grounding delle app Gemini e non incide sull'inclusione nella Ricerca Google, mentre AI Overviews e AI Mode usano Googlebot. Applebot-Extended funziona allo stesso modo per l'addestramento dei foundation model di Apple e non esegue scansioni.

Il robots.txt gestito di Cloudflare può aggiungere una riga come Content-signal: search=yes, ai-train=no e bloccare al posto suo i principali crawler di addestramento. Questo consente a un'azienda di escludersi dall'addestramento restando visibile nella ricerca IA, ed è la decisione che la maggior parte delle aziende deve davvero prendere. È una scelta di gran lunga più rilevante rispetto a pubblicare o meno un riepilogo in Markdown.

Cosa sistemare prima di pensarci?

Sistemi gli elementi che i motori hanno documentato, più o meno in quest'ordine. Ciascuno ha un effetto dichiarato o osservabile sulla possibilità che i motori di risposta la raggiungano e la citino.

• Robots.txt: consentire Googlebot, Bingbot, OAI-SearchBot, PerplexityBot, Claude-SearchBot e Applebot; decidere separatamente sui token di addestramento come GPTBot, ClaudeBot, Google-Extended, Applebot-Extended e CCBot.
• Cloudflare: dal 1° luglio 2025 l'impostazione predefinita blocca i crawler IA a meno che non paghino, quindi verifichi le impostazioni dei crawler IA e del robots.txt gestito invece di dare per scontato l'accesso.
• Log del server: verificare che i crawler di ricerca ricevano risposte HTTP 200, non challenge o errori.
• Rendering: servire i contenuti chiave come HTML renderizzato lato server, non solo tramite JavaScript lato client.
• Contenuti: titoli in forma di domanda con una risposta diretta sotto, blocchi FAQ e date di ultimo aggiornamento visibili.
• Entità: dati aziendali coerenti in Organization schema, link sameAs, Wikidata e nei siti di recensioni o directory usati dai suoi acquirenti.

Come capire se i motori iniziano a usarlo?

Tenga d'occhio la documentazione ufficiale e i log del suo server. Se OpenAI, Google, Perplexity, Microsoft o Anthropic aggiungono il file alla documentazione per crawler o webmaster, quello è il segnale per prenderlo sul serio.

Nel frattempo, i log di accesso mostreranno quali user agent richiedono /llms.txt e con quale frequenza. Le richieste da un crawler di ricerca noto meriterebbero attenzione, anche se un singolo recupero non dimostra che il contenuto influisca sulle risposte. La vera prova è la stessa che usiamo per ogni modifica AEO: un insieme fisso di prompt eseguito prima e dopo, confrontato mese su mese.