Como obter permissão para que rastreadores de agentes de IA acessem seu site

Os rastreadores de agentes de IA — os bots que buscam páginas da web em tempo real em nome dos usuários que aguardam uma resposta — serão bloqueado por padrão em uma parte significativa da web começando 15 de setembroCloudflare anunciou a mudança em 1º de julho.E embora grande parte da cobertura tenha se concentrado no Google, a história mais importante é o que isso significa para todos que desenvolvem agentes de IA — e o que a Cloudflare está oferecendo em troca.

🔐 Nova classificação de bots em três níveis da Cloudflare

A Cloudflare substituiu sua única opção "bloquear bots de IA" por três categorias distintasTodas essas funcionalidades entraram em vigor em 1º de julho para todos os clientes — incluindo o plano gratuito:

• Procurar — Bots que indexam uma página para responder a consultas futuras sobre ela.
• Agente — Sistemas automatizados que atuam em tempo real para um usuário, incluindo o bot de busca do ChatGPT e agentes que controlam o navegador.
• Treinamento — Rastreadores que extraem conteúdo para os pesos de treinamento de um modelo.

🔔 A partir de 15 de setembro: Ambos Treinamento e Agente Por padrão, os rastreadores serão bloqueados em qualquer página que exiba anúncios. Procurar Os veículos de transporte que rastejam continuarão sendo permitidos.

As novas configurações padrão se aplicam a:

• Domínios recém-integrados ao Cloudflare
• Novos sites criados por clientes existentes
• Todos os clientes atuais do plano gratuito — automaticamente, sem necessidade de qualquer ação

⚠️ Os proprietários de sites que desejarem optar por não participar podem fazê-lo através de suas configurações. configurações de segurança anteriores a 15 de setembro.

🤖 O principal argumento da Cloudflare

O raciocínio da Cloudflare é simples: Um anúncio é uma prova de que uma página foi criada para um público humano. Um mecanismo de busca que redireciona os leitores para um site é uma referência — e essa referência tem valor. Um bot de IA que lê a página e entrega a resposta diretamente para outra pessoa, não é.

📌 "Um mecanismo de busca que redireciona o leitor é uma referência. Um bot que lê a página e entrega a resposta para outra pessoa não é." — Justificativa da política da Cloudflare

🌎 O que os rastreadores de agentes de IA estão enfrentando agora

As implementações baseadas em agentes têm sido construídas, há muito tempo, sob a premissa de que a web aberta permanecerá aberta. Considere estes casos de uso comuns:

• UM agente de pesquisa Consultar a página de preços de um concorrente
• UM ferramenta de monitoramento verificar os anúncios de um fornecedor
• UM agente de atendimento ao cliente consultando a ficha técnica do fabricante

Nenhuma dessas empresas jamais exigiu licença — até agora. A Cloudflare está à frente de uma grande parcela do tráfego da web mundial e, crucialmente, seus blocos operam no nível da rede — não como um robots.txt sugestão que um rastreador pode simplesmente ignorar.

As páginas com anúncios são exatamente as que os agentes mais desejam — elas contêm notícias, avaliações, dados de preços e informações sobre produtos. O pior cenário para um agente corporativo não é um processo judicial. É o silêncio, ou uma resposta construída com o que ainda lhe era possível alcançar.

🔍 A Complicação do Google

Existe uma complicação significativa envolvendo o Google. O Googlebot rastreia tanto para pesquisa quanto para treinamento usando um único bot. De acordo com a regra mais restritiva, um site que bloqueia Treinamento também bloqueia efetivamente o Googlebot — e com isso, sua própria visibilidade nos mecanismos de busca.

💬 CEO da Cloudflare Mateus Príncipe A empresa disse esperar que essas mudanças "Incentivar os rastreadores de uso misto a separar a busca do uso e treinamento do agente" — uma forma educada de dizer que a pressão é o objetivo.

✅ Obtendo permissão: O que os construtores de agentes precisam fazer

Qualquer pessoa que utilize agentes de IA deve seguir os seguintes passos agora:

1. Identifique quais contas do Cloudflare serão classificadas como de classe Agente. A classificação é comportamental — se um agente de pesquisa navega em tempo real, ele é detectado independentemente de o operador o considerar um rastreador.
2. Espere uma cobertura degradada, não uma falha completa. O bloqueio tem como alvo páginas com anúncios e deixa as outras acessíveis — ou seja, há lacunas, não bloqueios completos.
3. Buscar acesso negociado Em vez de reescrever as strings do agente do usuário. Esse é o único caminho duradouro.

📰 O que as editoras precisam verificar

As editoras têm sua própria lista de verificação:

1. Verifique primeiro o seu plano da Cloudflare. Os clientes atuais do plano gratuito serão migrados automaticamente para os novos planos padrão em 15 de setembro — um detalhe que a maioria das reportagens ignorou completamente.
2. Avalie o custo do bloqueio do treinamento. Ao fazer isso, o Googlebot também é afetado, e seu posicionamento nos resultados de busca também.
3. Observe os mecanismos de monetização. O pagamento por rastreamento está evoluindo para pagamento por uso — Ceramic.ai já está pagando aos editores quando o conteúdo deles aparece nos resultados de busca da IA, e Você.com O pagamento é feito quando um agente acessa conteúdo premium.

📊 A Cloudflare informa que Mais da metade de todo o tráfego de rastreadores de IA é gasto buscando novamente páginas que não foram alteradas. — representando desperdício de ambos os lados que agora vale a pena eliminar do orçamento.

⚠️ A Fraqueza do Sistema

Uma vulnerabilidade crítica reside na própria taxonomia. Busca, Agente e Treinamento são comportamentos que as próprias empresas de IA declaram sobre seus bots. Uma empresa que prefere que seus treinamentos não sejam classificados como Treinamento Tem um incentivo óbvio para deturpar esses dados — e o anúncio da Cloudflare não explica o que impede isso.

🕑 O Panorama Geral

O acesso à internet aberta é gratuito e ilimitado há trinta anos. A fatura agora está detalhada.

Esta é a primeira rodada de uma batalha de conteúdo maior — e a resposta em questão é uma avaliar, não uma parede.

🔒 Os agentes construtores que resolverem o problema de acesso antes de setembro terão uma solução viável. Aqueles que descobrirem o problema por meio de um erro 403 terão que reconstruir tudo às pressas.