Robots.txt e treinamento de IA: a regra única que Google, Bing e OpenAI vão respeitar em 2027
A partir de 2027, uma única regra no robots.txt vai dizer a Google, Bing e OpenAI se o conteúdo do seu site pode ou não ser usado para treinar modelos de IA. O sinal foi anunciado pelas três empresas em 30 de outubro de 2026 e não mexe na indexação nem no ranking da busca. Para a maioria das empresas, a decisão certa é não bloquear, e explicamos o motivo.
O que foi anunciado em 30 de outubro?
Até agora, quem não queria o conteúdo do site usado para treinar IA precisava bloquear o rastreador de cada empresa, um por um: o Google-Extended do Google, o GPTBot da OpenAI, e assim por diante. Em 30 de outubro, as três maiores plataformas de busca e IA anunciaram que vão ler um sinal comum, escrito uma vez só no robots.txt e válido para todas.
- O Google anunciou que adota o sinal voluntariamente, com suporte previsto para o início de 2027.
- A Microsoft anunciou o mesmo sinal para o Bing, com um calendário de transição que começa em dezembro de 2026.
- A OpenAI informou que vai implementar o sinal “nos próximos meses”, mantendo os controles atuais do GPTBot.
O sinal nasce de um rascunho do grupo de trabalho de preferências de IA do IETF, o órgão que define os padrões técnicos da internet. É um rascunho, publicado em 30 de outubro, que ainda pode mudar em redação e sintaxe antes de virar norma.
Como fica no robots.txt
A regra usa um nome de agente especial, __usage_ai-training, e as mesmas instruções Allow e Disallow que o robots.txt sempre teve. Para dizer que nada do site deve treinar IA:
User-agent: __usage_ai-training
Disallow: /
Para liberar só uma área, por exemplo o kit de imprensa, vale a regra de sempre: o caminho mais específico vence.
User-agent: __usage_ai-training
Disallow: /
Allow: /imprensa/
Três detalhes que importam:
- Não é uma regra de rastreamento. O sinal diz o que pode ser feito com o conteúdo, não se o robô pode visitar a página. As regras para
Googlebot,Bingbote os demais continuam valendo por conta própria. - O bloco
User-agent: *não conta. O sinal só existe se houver uma linhaUser-agent: __usage_ai-trainingexplícita. Quem não escreve nada não expressa preferência, e cada empresa segue o padrão dela. - Os controles de cada empresa continuam funcionando. Google-Extended, GPTBot e os demais não deixam de existir. O sinal comum soma-se a eles.
O que o sinal controla e o que não controla
| O sinal comum controla? | |
|---|---|
| Uso do conteúdo para treinar modelos de IA | sim |
| Aparecer na busca do Google e do Bing | não; a indexação continua a mesma |
| Posição no ranking | não; nenhuma das duas empresas usa o sinal como fator |
| Aparecer no AI Overviews e no Modo IA do Google | não; é outro controle, pelo Search Console |
| Ser citado como fonte pelo Gemini | depende: ver abaixo |
| Ser citado pelo Copilot e pelo Modo IA do Bing | não; o Bing tem um controle separado para isso |
A definição de “treinar” vem do vocabulário do IETF: usar o conteúdo para alterar os parâmetros de um modelo generativo. Buscar a página na hora de responder, o chamado grounding, é outra coisa, e é aí que as empresas divergem.
Google: bloquear o treino pode tirar seu site do Gemini
O Google-Extended, o controle atual do Google, cobre duas coisas de uma vez: o treino dos modelos Gemini e o uso do conteúdo como fonte na hora de responder, nos apps do Gemini e no Grounding with Google Search da Vertex AI. É o que diz a documentação dos rastreadores do Google.
E o Google explicou como vai ler o sinal novo: um site que bloqueia o __usage_ai-training sem dizer nada sobre o Google-Extended será tratado como se tivesse bloqueado o Google-Extended. Na prática, bloquear o treino no sinal comum significa, para o Google, deixar de aparecer como fonte nas respostas do Gemini. Quem quiser bloquear o treino e continuar citado precisa escrever as duas regras, com Allow explícito para o Google-Extended.
Bing: treino e resposta são decisões separadas
A Microsoft foi no sentido oposto. No Bing, o sinal comum controla só o treino. Para as respostas de IA existe uma preferência própria, ai-grounding, definida página a página por meta tag ou cabeçalho HTTP, com três valores: liberar, liberar só para os produtos da Microsoft (Copilot e o Modo IA do Bing) ou bloquear. Um editor pode proibir o treino e continuar sendo citado pelo Copilot.
O calendário do Bing tem datas que valem anotar:
| Data | O que acontece |
|---|---|
| 15/12/2026 | abre no Bing Webmaster Tools uma preferência temporária de resposta para sites que usam noarchive ou nocache |
| 01/02/2027 | o Bing passa a respeitar as novas preferências conforme rastreia o site |
| 01/03/2027 | noarchive e nocache deixam de valer como preferência de treino ou resposta |
| 30/09/2027 | expiram as preferências temporárias |
O ponto de atenção é o terceiro: muitos sites usam noarchive há anos para não aparecer no cache do Bing. A partir de março de 2027, essa tag não diz mais nada sobre IA.
O que uma empresa deve fazer agora?
Para a maioria dos sites de empresa, a resposta é não bloquear. O objetivo de um site institucional, de uma página de serviço ou de um e-commerce é ser encontrado, e as respostas de IA já são uma das portas de entrada. No Google, bloquear o treino pelo sinal comum fecha também a porta do Gemini. Bloquear faz sentido quando o conteúdo é o produto: veículos de imprensa, cursos, bases de dados, obras autorais.
O que fazer, em ordem:
- Decidir, e deixar registrado. A decisão é de negócio, não de TI: o site quer ou não aparecer nas respostas de IA? Quem responde “sim” não precisa mexer em nada hoje.
- Conferir o robots.txt atual. Muitos sites carregam regras antigas, copiadas de temas ou de plugins, que bloqueiam mais do que deviam. Um
Disallowerrado para oGooglebotcusta mais caro do que qualquer decisão sobre IA. Conferimos isso em todo diagnóstico de SEO e GEO. - Se for bloquear o treino, escrever as duas regras. A do sinal comum e a do Google-Extended com
Allow, para não perder o Gemini. E, no Bing, decidir separadamente a preferência de resposta. - Trocar
noarchivepor uma preferência explícita antes de 1º de março de 2027, se o site depende dessa tag. - Voltar ao assunto em fevereiro de 2027. O rascunho do IETF pode mudar, o Google prometeu novas informações e a OpenAI ainda vai publicar os detalhes da implementação.
Este sinal trata do treino. O que faz uma página ser escolhida como fonte pela IA é outra conversa, a mesma que explicamos em a atualização de spam do Google e a regra para conteúdo com IA. E, do lado da mídia, os anúncios no Modo IA do Google chegam ao Brasil no mesmo trimestre.
Perguntas frequentes
O que é o __usage_ai-training no robots.txt?
É o nome de agente de um sinal comum, proposto no IETF, que informa a vários provedores de IA de uma vez se o conteúdo do site pode ser usado para treinar modelos. Google, Bing e OpenAI anunciaram em 30 de outubro de 2026 que vão respeitá-lo, com suporte previsto para 2027.
Bloquear o treinamento de IA tira meu site do Google?
Não. O sinal não afeta a indexação nem o ranking na busca. No Google, porém, bloquear o treino pelo sinal comum sem liberar o Google-Extended também tira o site das respostas do Gemini.
Preciso mudar meu robots.txt agora?
Se o site quer aparecer nas respostas de IA, não. Se quer bloquear o treino, vale escrever a regra desde já, porque o Bing passa a lê-la em fevereiro de 2027 e o Google no início do ano. Sites que usam noarchive precisam de uma preferência explícita no Bing até março de 2027.
O sinal vale para o ChatGPT?
A OpenAI anunciou que vai respeitá-lo e que publicará os detalhes nos próximos meses. Até lá, o controle continua sendo o GPTBot no robots.txt.
Fontes lidas em 02/11/2026: Google Search Central, 30/10/2026; documentação dos rastreadores do Google (Google-Extended); blog do Bing, 30/10/2026; OpenAI, 30/10/2026; rascunho draft-kelley-aipref-training-preference-signal-00, IETF, 30/10/2026; Search Engine Roundtable, 30/10/2026.