O que é llms.txt: para que serve, quem lê e se você precisa de um

O que é llms.txt?

É a proposta de um arquivo simples em Markdown, colocado na raiz de um site, que dá aos modelos de linguagem um resumo curto do site e links para as páginas mais úteis. Jeremy Howard, da Answer.AI, publicou a ideia em 3 de setembro de 2024, e a proposta está documentada em llmstxt.org.

O raciocínio fazia sentido: páginas web estão cheias de navegação, scripts e layout que dificultam a leitura por um modelo dentro de uma janela de contexto limitada, então um resumo limpo e curado poderia ajudar o modelo a encontrar o material certo rapidamente. A proposta mirava sobretudo documentação, em que um desenvolvedor ou um assistente de programação quer as páginas de referência, não o site de marketing.

O que a proposta não fez foi criar qualquer obrigação de alguém ler o arquivo. É uma sugestão publicada pelo autor, não um padrão adotado pelos buscadores, e essa diferença está no centro do debate.

O Google ou algum mecanismo de busca com IA usa o arquivo?

Até onde se confirmou, não. Segundo o Search Engine Land, Gary Illyes, do Google, disse que o Google não dá suporte a ele, e John Mueller disse que "nenhum dos serviços de IA afirmou que usa o LLMs.txt", comparando-o à antiga meta tag keywords que os buscadores aprenderam a ignorar.

Não encontramos nenhuma declaração pública da OpenAI, da Perplexity, da Microsoft, da Anthropic ou do Google dizendo que seus mecanismos de resposta leem o arquivo ao decidir o que citar. Isso pode mudar e, se um grande mecanismo documentar o suporte, atualizaremos esta página. Até lá, qualquer agência que apresente o arquivo como alavanca de citações está vendendo uma esperança, não um mecanismo documentado.

Vale comparar isso com o que os mecanismos documentam. A OpenAI publica como o OAI-SearchBot segue o robots.txt. A Perplexity documenta o PerplexityBot. A Anthropic documenta o Claude-SearchBot. O Google documenta que o AI Overviews e o AI Mode dependem do Googlebot e do seu índice normal. Esses são os controles com efeitos declarados.

O que o Google diz que você precisa para a busca com IA?

SEO comum. O guia de otimização para IA do Google, atualizado em julho de 2026, diz que otimizar para a busca com IA generativa "ainda é SEO" e que não são necessários arquivos, marcações ou Markdown especiais.

A documentação do Google sobre recursos de IA acrescenta que uma página só precisa estar indexada e qualificada para exibir um snippet para aparecer no AI Overviews ou no AI Mode, sem requisitos adicionais nem otimizações especiais. O Google também diz que não existe marcação schema.org especial para a busca com IA generativa. Juntando tudo, a posição do Google é clara: um resumo curado do seu site em Markdown não é algo de que seus recursos de IA precisem.

Qual a diferença em relação ao robots.txt e ao sitemap?

Robots.txt e sitemaps são arquivos consolidados que os crawlers documentam e respeitam; o arquivo novo é uma proposta sem nenhum leitor confirmado entre os mecanismos de resposta. A tabela abaixo mostra as diferenças práticas.

Onde o arquivo é realmente útil?

Principalmente em documentação para desenvolvedores. Várias empresas de IA publicam o arquivo na própria documentação de desenvolvedores, onde ele dá a agentes de programação e aos assistentes de IA dos desenvolvedores um índice limpo das páginas de referência. A documentação de comércio da OpenAI para lojistas, por exemplo, é publicada como um arquivo llms-full.txt.

Se a sua empresa oferece uma API, um SDK ou documentação técnica, publicar um é uma gentileza razoável com os desenvolvedores que colam sua documentação em uma ferramenta de IA ou usam um agente que procura o arquivo. Para um site de marketing típico, uma empresa de serviços ou uma loja, o benefício é pequeno e não comprovado. Não faz mal, custa pouco, e esse é o resumo mais honesto.

Vale publicar um mesmo assim?

Se leva uma hora e você tem documentação ou uma hierarquia de páginas clara, vá em frente, mas trate isso como boa prática, não como estratégia. Não pague um contrato mensal por isso e não espere que mude o que o ChatGPT ou o Google AI Overviews dizem sobre você. Se alguém o apresentar como o motivo de você não aparecer nas respostas de IA, peça a documentação do mecanismo em questão; até agora, ela não existe.

Se publicar, mantenha o arquivo correto e atualizado. Um resumo desatualizado que lista produtos descontinuados ou preços antigos é pior do que nenhum, porque cria mais um lugar onde seus dados podem divergir. Linke só páginas que você quer que sejam lidas, garanta que essas páginas sejam elas mesmas HTML rastreável e inclua o arquivo na lista do que você revisa sempre que a estrutura do site muda.

Quais arquivos e configurações de IA os mecanismos realmente respeitam?

Os tokens do robots.txt e, na Cloudflare, o robots.txt gerenciado e os sinais de conteúdo. É nesses lugares que você decide o que os crawlers de IA podem fazer, e os fornecedores documentam como respondem.

O essencial é separar busca de treinamento. OAI-SearchBot, PerplexityBot e Claude-SearchBot acessam páginas para que esses produtos possam exibi-las e citá-las; GPTBot, ClaudeBot e CCBot coletam dados de treinamento. O Google-Extended nem é um crawler, mas um token de controle no robots.txt: o Google diz que ele rege o treinamento do Gemini e o embasamento dos Gemini Apps e não afeta a inclusão na Pesquisa Google, enquanto o AI Overviews e o AI Mode usam o Googlebot. O Applebot-Extended funciona da mesma forma para o treinamento dos modelos de base da Apple e não rastreia.

O robots.txt gerenciado da Cloudflare pode acrescentar uma linha como Content-signal: search=yes, ai-train=no e bloquear por você os principais crawlers de treinamento. Isso permite que uma empresa fique fora do treinamento e continue visível na busca com IA, que é a decisão que a maioria das empresas realmente precisa tomar. É uma escolha muito mais importante do que publicar ou não um resumo em Markdown.

O que corrigir antes de pensar nele?

Corrija os itens que os mecanismos documentaram, mais ou menos nesta ordem. Cada um tem um efeito declarado ou observável sobre a capacidade dos mecanismos de resposta de acessar e citar você.

• Robots.txt: permita Googlebot, Bingbot, OAI-SearchBot, PerplexityBot, Claude-SearchBot e Applebot; decida à parte sobre tokens de treinamento como GPTBot, ClaudeBot, Google-Extended, Applebot-Extended e CCBot.
• Cloudflare: desde 1º de julho de 2025 o padrão bloqueia crawlers de IA que não pagam, então verifique as configurações de crawlers de IA e de robots.txt gerenciado em vez de supor que há acesso.
• Logs do servidor: confirme que os crawlers de busca recebem respostas HTTP 200, não desafios nem erros.
• Renderização: entregue o conteúdo principal como HTML renderizado no servidor, não só via JavaScript no navegador.
• Conteúdo: títulos em forma de pergunta com uma resposta direta logo abaixo, blocos de FAQ e datas de última atualização visíveis.
• Entidades: dados da empresa consistentes no Organization schema, links sameAs, Wikidata e nos sites de avaliação ou diretórios que seus compradores usam.

Como saber se os mecanismos começarem a usá-lo?

Fique de olho na documentação oficial e nos seus próprios logs do servidor. Se a OpenAI, o Google, a Perplexity, a Microsoft ou a Anthropic incluírem o arquivo na documentação de crawlers ou para webmasters, esse é o sinal para levá-lo a sério.

Enquanto isso, seus logs de acesso mostram quais user agents pedem o /llms.txt e com que frequência. Requisições de um crawler de busca conhecido merecem atenção, embora um acesso por si só não prove que o conteúdo afeta as respostas. O teste real é o mesmo que usamos em toda mudança de AEO: um conjunto fixo de prompts rodado antes e depois, comparado mês a mês.