Comment obtenir l'autorisation pour les robots d'exploration d'IA sur votre site web

Les robots d'exploration d'agents IA — ces bots qui récupèrent des pages web en temps réel pour le compte des utilisateurs en attente d'une réponse — seront bloqué par défaut sur une partie importante du web commençant 15 septembreCloudflare a annoncé le changement le 1er juilletEt bien que la plupart des articles se soient concentrés sur Google, l'information la plus importante concerne ce que cela signifie pour tous ceux qui développent des agents d'IA — et ce que Cloudflare propose en retour.

🔐 Nouvelle classification des bots à trois niveaux de Cloudflare

Cloudflare a remplacé son unique option « bloquer les bots IA » par trois catégories distinctes, toutes ces nouveautés étant entrées en vigueur le 1er juillet pour chaque client — y compris le niveau gratuit :

• Recherche — Des robots qui indexent une page pour répondre aux futures requêtes la concernant.
• Agent — Systèmes automatisés agissant en temps réel pour un utilisateur, notamment le robot de récupération de ChatGPT et les agents pilotant le navigateur.
• Entraînement — Des robots d'exploration qui intègrent le contenu aux poids d'entraînement d'un modèle.

🔔 À partir du 15 septembre : Les deux Entraînement et Agent Les robots d'exploration seront bloqués par défaut sur toute page affichant des publicités. Recherche Les robots d'exploration resteront autorisés.

Les nouvelles valeurs par défaut s'appliquent à :

• Domaines nouvellement intégrés à Cloudflare
• Nouveaux sites créés par des clients existants
• Tous les clients existants bénéficiant du niveau gratuit — automatiquement, sans aucune action requise

⚠️ Les propriétaires de sites qui souhaitent se désinscrire peuvent le faire via leur paramètres de sécurité antérieurs au 15 septembre.

🤖 Argument principal de Cloudflare

Le raisonnement de Cloudflare est simple : La présence d'une publicité prouve qu'une page a été conçue pour un public humain. Un robot d'exploration qui redirige les lecteurs vers un site est une recommandation, et cette recommandation a de la valeur. Un chatbot qui lit la page et transmet directement la réponse à quelqu'un d'autre n'en est pas une.

📌 « Un robot d'exploration qui redirige un lecteur vers une page existante est une redirection. Un bot qui lit la page et transmet la réponse à quelqu'un d'autre n'en est pas une. » — Justification de la politique de Cloudflare

🌎 À quoi se heurtent actuellement les robots d'exploration d'agents IA

Les déploiements d'agents reposent depuis longtemps sur l'hypothèse que le web ouvert restera ouvert. Prenons l'exemple de ces cas d'utilisation courants :

• UN agent de recherche récupérer la page de prix d'un concurrent
• UN outil de surveillance consulter les annonces d'un fournisseur
• UN agent du service à la clientèle extraire une fiche technique du fabricant

Aucun de ces services n'a jamais nécessité de licence — jusqu'à présent. Cloudflare se situe en amont d'une part importante du trafic web mondial et, surtout, ses blocs fonctionnent au niveau du réseau — pas comme un robots.txt suggestion qu'un robot d'exploration peut tout simplement ignorer.

Les pages financées par la publicité sont précisément celles que les agents recherchent le plus : elles contiennent des actualités, des avis, des informations sur les prix et des descriptions de produits. Pour un agent immobilier spécialisé dans les entreprises, l’échec ne se traduit pas par un procès. C'est le silence, ou une réponse assemblée à partir de ce qu'elle pouvait encore atteindre.

🔍 La complication Google

Il y a un problème majeur concernant Google. Googlebot effectue des recherches et des entraînements à l'aide d'un seul robot. Selon la règle la plus restrictive, un site qui bloque Entraînement bloque également efficacement Googlebot — et avec lui, sa propre visibilité dans les résultats de recherche.

💬 PDG de Cloudflare Matthew Prince L'entreprise a déclaré espérer que ces changements permettront « Encourager les robots d'exploration à usage mixte à séparer la recherche de l'utilisation et de la formation des agents » — une façon polie de dire que la pression est le but recherché.

✅ Obtenir l'autorisation : ce que les créateurs d'agents doivent faire

Toute personne utilisant des agents d'IA devrait prendre les mesures suivantes dès maintenant :

1. Identifiez les comptes Cloudflare qui seront classés comme comptes de classe Agent. La classification est comportementale : si un agent de recherche navigue en temps réel, il est détecté, que son opérateur le considère ou non comme un robot d'exploration.
2. Attendez-vous à une couverture dégradée, et non à une panne nette. Le blocage cible les pages financées par la publicité et laisse les autres accessibles — ce qui crée des interruptions, et non un blocage total.
3. Poursuivre l'accès négocié Plutôt que de réécrire les chaînes d'agent utilisateur, c'est la seule solution durable.

📰 Ce que les éditeurs doivent vérifier

Les éditeurs doivent eux aussi faire face à leur propre liste de contrôle :

1. Vérifiez d'abord votre niveau Cloudflare. Les clients bénéficiant de l'offre gratuite seront automatiquement transférés vers les nouveaux paramètres par défaut le 15 septembre – un détail que la plupart des médias ont complètement omis.
2. Évaluer le coût du blocage de la formation. Ce faisant, Googlebot sera également impliqué, et votre classement dans les résultats de recherche en subira les conséquences.
3. Observez les mécanismes de monétisation. Le paiement à l'exploration évolue vers le paiement à l'utilisation — Céramique.ai elle rémunère déjà les éditeurs lorsque leur contenu apparaît dans les résultats de recherche IA, et Vous.com rémunère lorsqu'un agent accède à du contenu premium.

📊 Cloudflare signale que Plus de la moitié du trafic des robots d'exploration IA est consacrée à la récupération de pages qui n'ont pas été modifiées. — ce qui représente un gaspillage des deux côtés qu'il vaut désormais la peine d'éliminer par le prix.

⚠️ La faiblesse du système

Une vulnérabilité critique réside dans la taxonomie elle-même. La recherche, l'agent et la formation sont des comportements que les entreprises d'IA déclarent elles-mêmes à propos de leurs propres bots. Une entreprise qui préférerait que ses parcours d'entraînement ne soient pas classés comme Entraînement Cloudflare a clairement intérêt à les présenter de manière erronée, et son annonce n'explique pas ce qui empêche cela.

🕑 Vue d'ensemble

L'accès au web ouvert est gratuit et illimité depuis trente ans. La facture est maintenant détaillée.

Il s'agit du premier round d'une bataille de contenu plus vaste — et la réponse sur la table est un taux, pas un mur.

🔒 Les développeurs d'agents qui règlent leurs problèmes d'accès avant septembre n'auront qu'un problème gérable. Ceux qui le découvrent suite à une erreur 403 devront tout reconstruire à la volée.