Blog

Fileira de cubos de cache em verde-petróleo com um portão verde-limão deixando passar um pequeno rastreador em forma de avião de papel

Migrou o site para uma CDN? Como não bloquear o Googlebot nem derrubar o servidor

Para migrar o site para uma CDN sem bloquear o Googlebot nem derrubar o servidor, libere os rastreadores verificados no firewall, aqueça o cache antes de passar todo o tráfego e use os códigos 429 ou 503 só como freio temporário, nunca o 403. Este é, em resumo, o passo a passo que o Google publicou em 11/11/2026 no Search Central.

Por que o Google passa a rastrear mais depois que o site entra numa CDN

Uma CDN distribui os arquivos do site em servidores de borda, mais perto de quem acessa. Isso reduz a latência e protege o servidor de origem. O problema aparece na transição: segundo o Google, o tráfego de rastreadores costuma subir logo depois que o site passa para a CDN.

A explicação oficial está na capacidade de rastreamento. O limite que o Google aplica a cada site depende da saúde do servidor. Respostas lentas fazem o rastreador desacelerar, e respostas rápidas e estáveis deixam o limite subir, desde que haja demanda por rastreamento. Quando o DNS passa a apontar para uma borda rápida, o tempo de resposta cai de uma vez. Para o Google, é como se o servidor tivesse sido trocado por um mais forte, e o ritmo de requisições aumenta.

É um sinal bom, porque mostra que o site ficou mais rápido. Só que ele chega num momento em que a CDN ainda está “fria”.

O que é cache miss e por que ele pesa no servidor

Uma CDN nova começa com o cache vazio. A primeira requisição de cada endereço é um cache miss: a borda busca o conteúdo na origem, guarda uma cópia e só então responde. A partir da segunda visita, o conteúdo sai do cache.

Visitantes humanos concentram o acesso num conjunto pequeno de páginas, que esquentam rápido. Rastreadores fazem o contrário: percorrem todo o inventário de endereços do site. Por isso, enquanto o cache não aquece, boa parte das requisições passa pela CDN e cai na origem, que continua fazendo a maior parte do trabalho. Algumas CDNs suavizam os picos com controle de ritmo, mas isso não elimina o problema.

O erro mais comum: bloquear tudo para proteger o servidor

Diante do aumento de acessos, muita gente liga a proteção contra robôs da CDN em modo geral, às vezes com desafio de CAPTCHA. A regra genérica não separa robô bom de robô ruim. O Googlebot não resolve CAPTCHA e fica preso em página de erro ou de desafio.

Segundo o Google, se os rastreadores continuam sendo barrados, eles reduzem a visita, e páginas podem sair dos resultados de busca. Ou seja, o remédio contra o pico de tráfego pode custar a presença do site no Google.

Três ajustes oficiais para treinar a CDN sem sobrecarregar a origem

1. Libere os rastreadores verificados

Se o site bloqueia robôs, permita os rastreadores verificados nas configurações da CDN e do firewall. A maioria das CDNs e dos firewalls de aplicação (WAF) tem um interruptor ou uma regra gerenciada para robôs conhecidos. Para confirmar que uma visita é mesmo do Google, o Google publica as faixas de IP dos seus rastreadores. A alternativa recomendada é usar o robots.txt ou regras direcionadas que barrem robôs específicos indesejados, em vez de barrar todo cliente automatizado.

Se você quer entender como o robots.txt entra na conversa com robôs de IA, veja nosso texto sobre robots.txt e treinamento de IA.

2. Aqueça o cache antes de virar a chave

Antes de mandar todo o tráfego pela CDN, busque pela própria CDN, em ritmo controlado, as páginas de maior acesso, as páginas de promoções e picos que vêm aí e os endereços que o Google mais rastreia. O Google brinca que pedir a amigos para abrir dois endereços cada também funciona, mas o ponto é o mesmo: a primeira visita não pode ser a do rastreador.

3. Use 429 ou 503 como freio temporário

Se mesmo assim o rastreamento sobrecarregar a origem durante o aquecimento, responda com 429 (muitas requisições) ou 503 (serviço indisponível) para pedir ao rastreador que desacelere. O Google recomenda usar isso por pouco tempo: “algumas horas, ou 1 a 2 dias no máximo”. Passar disso traz risco para a indexação.

Resumo: o que fazer e o que evitar

Situação O que fazer O que evitar
Cache vazio logo após a migração Aquecer as páginas mais acessadas e as mais rastreadas Virar todo o tráfego de uma vez, sem preparo
Pico de rastreamento Liberar rastreadores verificados no WAF Ativar proteção geral com CAPTCHA
Origem sobrecarregada durante o aquecimento 429 ou 503 por horas, no máximo 1 a 2 dias 403 e páginas de desafio para o Googlebot
Robôs indesejados Regras direcionadas ou robots.txt Bloquear qualquer cliente automatizado

Antes de migrar: um roteiro curto para o seu time

Nossa leitura, para a maioria das empresas que usa Cloudflare ou uma CDN parecida: faça a lista das páginas que importam antes da virada, confirme com quem cuida do servidor se o WAF tem a regra de rastreadores verificados e combine quem acompanha o rastreamento nos primeiros dias. O relatório de estatísticas de rastreamento do Search Console ajuda a ver se o ritmo subiu e se aparecem erros de servidor.

Site lento ou instável também afeta a experiência de quem compra. Se este é o seu caso, vale conferir o que não pode faltar em um site de alta performance. E se a dúvida é como a sua presença na busca está hoje, antes de qualquer migração, nosso diagnóstico de SEO e GEO mostra o ponto de partida. Para acompanhar o que mudou na busca nas últimas semanas, leia também a nossa cobertura da atualização de spam do Google.

Fontes lidas em 14/11/2026: Google Search Central, post sobre rastreamento e CDN, 11/11/2026; documentação do Google sobre orçamento de rastreamento e sobre como reduzir a taxa de rastreamento, citadas no texto oficial.

Perguntas frequentes

Migrar para uma CDN prejudica o SEO?

Segundo o Google, o que causa problema é a transição mal feita. A CDN em si deixa o site mais rápido, e respostas rápidas e estáveis permitem que o rastreamento aumente. O risco está em bloquear o Googlebot por regra geral de proteção ou em deixar a origem sobrecarregada.

Posso usar CAPTCHA para proteger o site depois de migrar?

O Googlebot não resolve CAPTCHA e fica preso na página de desafio. Se os rastreadores continuam barrados, eles reduzem a visita e páginas podem sair da busca. Libere os rastreadores verificados e use regras direcionadas para os robôs indesejados.

Por quanto tempo posso responder 429 ou 503 para o Googlebot?

O Google orienta usar essas respostas como freio temporário, por algumas horas ou, no máximo, 1 a 2 dias. Se a origem ainda sofre depois disso, o caminho é aquecer o cache e ajustar a infraestrutura, não prolongar o freio.

Como saber se uma visita é mesmo do Googlebot?

O Google publica as faixas de IP dos seus rastreadores e uma página sobre como verificar requisições do Google. É por essa lista que o texto oficial manda conferir os rastreadores antes de liberá-los no firewall.

Quem deve cuidar disso na empresa?

É uma tarefa dividida: quem administra a CDN e o firewall ajusta as regras, e quem cuida do SEO acompanha o rastreamento no Search Console nos primeiros dias. Combinar isso antes da virada evita o susto.