Cloudflare permite bloqueio do Googlebot em sites que barram IA

A Cloudflare anunciou em abril de 2026 um novo método de identificação e bloqueio de crawlers de IA que pode resultar no bloqueio do Googlebot em sites que impedem treinamento de modelos de inteligência artificial, segundo comunicado publicado pela empresa como parte de seu segundo Content Independence Day. As novas regras já estão disponíveis para todos os clientes, incluindo o plano gratuito, e uma série de mudanças padrão entrará em vigor a partir de uma data específica divulgada pela companhia.

Como funciona a nova classificação de crawlers da Cloudflare

A Cloudflare passou a organizar crawlers com base em três comportamentos distintos, substituindo o antigo interruptor único "bloquear bots de IA". De acordo com a empresa, a nova abordagem classifica os rastreadores pelo que fazem no site, e não simplesmente se contam como IA. As três categorias são:

• Search: indexa o site para responder perguntas posteriormente, e a Cloudflare vincula esse comportamento ao tráfego de referência.
• Agent: bots em tempo real que agem em nome de uma pessoa, como ChatGPT-User ou agentes de navegador como Gemini ou Claude operando no Chrome.
• Training: rastreamento que coleta conteúdo para treinar ou ajustar modelos de IA.

Segundo a Cloudflare, operadores de bots devem executar crawlers separados para cada comportamento, permitindo que os sites vejam por que um bot está visitando e decidam se permitem ou bloqueiam o acesso.

Mudanças padrão e regra de múltiplos propósitos

A partir de uma data específica anunciada pela empresa, duas mudanças padrão entram em vigor. Para novos clientes e novos sites de clientes existentes, crawlers de Training e Agent serão bloqueados por padrão em páginas que exibem anúncios, enquanto o Search permanece permitido. De acordo com o comunicado oficial da Cloudflare, clientes do plano gratuito que não alterarem suas configurações até a data limite também serão migrados para esses padrões.

A segunda mudança é mais abrangente: a Cloudflare começará a tratar crawlers de múltiplos propósitos com base em seu comportamento geral, aplicando a regra mais restritiva. Por exemplo, um crawler que executa tanto Search quanto Training será bloqueado se o site bloquear Training. A empresa citou Googlebot, Applebot e Bingbot como exemplos, já que cada um rasteja tanto para busca quanto para treinamento de IA. Conforme a Cloudflare, se um site já ativou a configuração antiga "Block AI bots", ele será coberto por essa nova regra.

A companhia informa que clientes podem revisar ou alterar essas configurações no painel da Cloudflare a qualquer momento antes da data de vigência e que continuará notificando usuários antes do prazo.

Novos sinais de uso de conteúdo e relatório de tráfego

A Cloudflare está testando um sinal de uso de conteúdo que estende os Content Signals no robots.txt. O sinal carrega três valores, do mais ao menos restritivo: immediate (não armazena nada), reference (indexa e linka de volta, sendo o novo padrão) e full (resume e reproduz). De acordo com a empresa, esses valores declaram uma preferência e não bloqueiam por si só.

A definição de "Verified" para bots foi revisada. Agora, um bot verificado não é automaticamente permitido em todos os lugares; seu acesso depende de sua categoria. Além disso, bots que replicam conteúdo na íntegra não são elegíveis para verificação. A Cloudflare introduziu um diretório pesquisável, o BotBase, para usuários do Enterprise Bot Management, que exibe a classificação de cada bot rastreado e um ID de detecção copiável para regras de segurança.

O anúncio veio acompanhado de um relatório da Cloudflare marcando o aniversário de um ano do primeiro Content Independence Day. Segundo o relatório, o treinamento de IA agora representa a maioria das requisições de crawler na rede da empresa, um aumento em relação a aproximadamente 20% na primavera de 2025. O documento também observa que as requisições diárias de agentes de IA aumentaram mais de 1.700% ao longo do ano. Essas estatísticas são baseadas no tráfego de rede da Cloudflare e não representam toda a web.

Para sites que desejam proteger conteúdo de treinamento de IA mas manter o tráfego de busca orgânica, a nova estrutura exige atenção às categorias de crawler configuradas. A vinculação entre bloqueio de Training e impacto em crawlers multifuncionais como o Googlebot torna necessária uma revisão das permissões antes da vigência das mudanças padrão.