Blog

Ilustração 3D: páginas numa esteira seguem para um robô e uma catraca em verde-limão segura uma delas

Robots.txt e treinamento de IA: a regra única que Google, Bing e OpenAI vão respeitar em 2027

A partir de 2027, uma única regra no robots.txt vai dizer a Google, Bing e OpenAI se o conteúdo do seu site pode ou não ser usado para treinar modelos de IA. O sinal foi anunciado pelas três empresas em 30 de outubro de 2026 e não mexe na indexação nem no ranking da busca. Para a maioria das empresas, a decisão certa é não bloquear, e explicamos o motivo.

O que foi anunciado em 30 de outubro?

Até agora, quem não queria o conteúdo do site usado para treinar IA precisava bloquear o rastreador de cada empresa, um por um: o Google-Extended do Google, o GPTBot da OpenAI, e assim por diante. Em 30 de outubro, as três maiores plataformas de busca e IA anunciaram que vão ler um sinal comum, escrito uma vez só no robots.txt e válido para todas.

  • O Google anunciou que adota o sinal voluntariamente, com suporte previsto para o início de 2027.
  • A Microsoft anunciou o mesmo sinal para o Bing, com um calendário de transição que começa em dezembro de 2026.
  • A OpenAI informou que vai implementar o sinal “nos próximos meses”, mantendo os controles atuais do GPTBot.

O sinal nasce de um rascunho do grupo de trabalho de preferências de IA do IETF, o órgão que define os padrões técnicos da internet. É um rascunho, publicado em 30 de outubro, que ainda pode mudar em redação e sintaxe antes de virar norma.

Como fica no robots.txt

A regra usa um nome de agente especial, __usage_ai-training, e as mesmas instruções Allow e Disallow que o robots.txt sempre teve. Para dizer que nada do site deve treinar IA:

User-agent: __usage_ai-training
Disallow: /

Para liberar só uma área, por exemplo o kit de imprensa, vale a regra de sempre: o caminho mais específico vence.

User-agent: __usage_ai-training
Disallow: /
Allow: /imprensa/

Três detalhes que importam:

  1. Não é uma regra de rastreamento. O sinal diz o que pode ser feito com o conteúdo, não se o robô pode visitar a página. As regras para Googlebot, Bingbot e os demais continuam valendo por conta própria.
  2. O bloco User-agent: * não conta. O sinal só existe se houver uma linha User-agent: __usage_ai-training explícita. Quem não escreve nada não expressa preferência, e cada empresa segue o padrão dela.
  3. Os controles de cada empresa continuam funcionando. Google-Extended, GPTBot e os demais não deixam de existir. O sinal comum soma-se a eles.

O que o sinal controla e o que não controla

O sinal comum controla?
Uso do conteúdo para treinar modelos de IA sim
Aparecer na busca do Google e do Bing não; a indexação continua a mesma
Posição no ranking não; nenhuma das duas empresas usa o sinal como fator
Aparecer no AI Overviews e no Modo IA do Google não; é outro controle, pelo Search Console
Ser citado como fonte pelo Gemini depende: ver abaixo
Ser citado pelo Copilot e pelo Modo IA do Bing não; o Bing tem um controle separado para isso

A definição de “treinar” vem do vocabulário do IETF: usar o conteúdo para alterar os parâmetros de um modelo generativo. Buscar a página na hora de responder, o chamado grounding, é outra coisa, e é aí que as empresas divergem.

Google: bloquear o treino pode tirar seu site do Gemini

O Google-Extended, o controle atual do Google, cobre duas coisas de uma vez: o treino dos modelos Gemini e o uso do conteúdo como fonte na hora de responder, nos apps do Gemini e no Grounding with Google Search da Vertex AI. É o que diz a documentação dos rastreadores do Google.

E o Google explicou como vai ler o sinal novo: um site que bloqueia o __usage_ai-training sem dizer nada sobre o Google-Extended será tratado como se tivesse bloqueado o Google-Extended. Na prática, bloquear o treino no sinal comum significa, para o Google, deixar de aparecer como fonte nas respostas do Gemini. Quem quiser bloquear o treino e continuar citado precisa escrever as duas regras, com Allow explícito para o Google-Extended.

Bing: treino e resposta são decisões separadas

A Microsoft foi no sentido oposto. No Bing, o sinal comum controla só o treino. Para as respostas de IA existe uma preferência própria, ai-grounding, definida página a página por meta tag ou cabeçalho HTTP, com três valores: liberar, liberar só para os produtos da Microsoft (Copilot e o Modo IA do Bing) ou bloquear. Um editor pode proibir o treino e continuar sendo citado pelo Copilot.

O calendário do Bing tem datas que valem anotar:

Data O que acontece
15/12/2026 abre no Bing Webmaster Tools uma preferência temporária de resposta para sites que usam noarchive ou nocache
01/02/2027 o Bing passa a respeitar as novas preferências conforme rastreia o site
01/03/2027 noarchive e nocache deixam de valer como preferência de treino ou resposta
30/09/2027 expiram as preferências temporárias

O ponto de atenção é o terceiro: muitos sites usam noarchive há anos para não aparecer no cache do Bing. A partir de março de 2027, essa tag não diz mais nada sobre IA.

O que uma empresa deve fazer agora?

Para a maioria dos sites de empresa, a resposta é não bloquear. O objetivo de um site institucional, de uma página de serviço ou de um e-commerce é ser encontrado, e as respostas de IA já são uma das portas de entrada. No Google, bloquear o treino pelo sinal comum fecha também a porta do Gemini. Bloquear faz sentido quando o conteúdo é o produto: veículos de imprensa, cursos, bases de dados, obras autorais.

O que fazer, em ordem:

  1. Decidir, e deixar registrado. A decisão é de negócio, não de TI: o site quer ou não aparecer nas respostas de IA? Quem responde “sim” não precisa mexer em nada hoje.
  2. Conferir o robots.txt atual. Muitos sites carregam regras antigas, copiadas de temas ou de plugins, que bloqueiam mais do que deviam. Um Disallow errado para o Googlebot custa mais caro do que qualquer decisão sobre IA. Conferimos isso em todo diagnóstico de SEO e GEO.
  3. Se for bloquear o treino, escrever as duas regras. A do sinal comum e a do Google-Extended com Allow, para não perder o Gemini. E, no Bing, decidir separadamente a preferência de resposta.
  4. Trocar noarchive por uma preferência explícita antes de 1º de março de 2027, se o site depende dessa tag.
  5. Voltar ao assunto em fevereiro de 2027. O rascunho do IETF pode mudar, o Google prometeu novas informações e a OpenAI ainda vai publicar os detalhes da implementação.

Este sinal trata do treino. O que faz uma página ser escolhida como fonte pela IA é outra conversa, a mesma que explicamos em a atualização de spam do Google e a regra para conteúdo com IA. E, do lado da mídia, os anúncios no Modo IA do Google chegam ao Brasil no mesmo trimestre.

Perguntas frequentes

O que é o __usage_ai-training no robots.txt?

É o nome de agente de um sinal comum, proposto no IETF, que informa a vários provedores de IA de uma vez se o conteúdo do site pode ser usado para treinar modelos. Google, Bing e OpenAI anunciaram em 30 de outubro de 2026 que vão respeitá-lo, com suporte previsto para 2027.

Bloquear o treinamento de IA tira meu site do Google?

Não. O sinal não afeta a indexação nem o ranking na busca. No Google, porém, bloquear o treino pelo sinal comum sem liberar o Google-Extended também tira o site das respostas do Gemini.

Preciso mudar meu robots.txt agora?

Se o site quer aparecer nas respostas de IA, não. Se quer bloquear o treino, vale escrever a regra desde já, porque o Bing passa a lê-la em fevereiro de 2027 e o Google no início do ano. Sites que usam noarchive precisam de uma preferência explícita no Bing até março de 2027.

O sinal vale para o ChatGPT?

A OpenAI anunciou que vai respeitá-lo e que publicará os detalhes nos próximos meses. Até lá, o controle continua sendo o GPTBot no robots.txt.


Fontes lidas em 02/11/2026: Google Search Central, 30/10/2026; documentação dos rastreadores do Google (Google-Extended); blog do Bing, 30/10/2026; OpenAI, 30/10/2026; rascunho draft-kelley-aipref-training-preference-signal-00, IETF, 30/10/2026; Search Engine Roundtable, 30/10/2026.