Wie Sie die Berechtigung für KI-Agenten-Crawler auf Ihrer Website erhalten

KI-Agenten-Crawler – die Bots, die Webseiten in Echtzeit im Auftrag von Nutzern abrufen, die auf eine Antwort warten – werden Standardmäßig blockiert in einem bedeutenden Teil des Internets beginnend 15. SeptemberCloudflare Die Änderung wurde am 1. Juli angekündigt.Und obwohl sich ein Großteil der Berichterstattung auf Google konzentriert hat, ist die wichtigere Geschichte, was dies für alle bedeutet, die KI-Agenten entwickeln – und was Cloudflare im Gegenzug anbietet.

🔐 Cloudflares neue dreistufige Bot-Klassifizierung

Cloudflare hat seinen einzelnen Schalter „KI-Bots blockieren“ durch Folgendes ersetzt: drei verschiedene KategorienAlle diese Funktionen wurden am 1. Juli für alle Kunden freigeschaltet – einschließlich der kostenlosen Version:

• Suchen — Bots, die eine Seite indexieren, um zukünftige Anfragen dazu zu beantworten.
• Agent — Automatisierte Systeme, die in Echtzeit für einen Benutzer agieren, einschließlich des Fetch-Bots von ChatGPT und browsersteuernder Agenten.
• Ausbildung — Crawler, die Inhalte in die Trainingsgewichte eines Modells einbinden.

🔔 Ab dem 15. September: Beide Ausbildung Und Agent Crawler werden standardmäßig auf allen Seiten blockiert, die Werbung anzeigen. Suchen Crawler bleiben weiterhin erlaubt.

Die neuen Standardeinstellungen gelten für:

• Domains, die neu zu Cloudflare hinzugefügt werden
• Neue Standorte, die von bestehenden Kunden eingerichtet wurden
• Alle bestehenden Kunden des kostenlosen Tarifs — automatisch, ohne dass ein Eingreifen erforderlich ist

⚠️ Website-Betreiber, die sich abmelden möchten, können dies über ihr Konto tun. Sicherheitseinstellungen vor dem 15. SeptemberDie

🤖 Cloudflares Kernargument

Cloudflares Argumentation ist einfach: Eine Anzeige ist ein Beweis dafür, dass eine Seite für ein menschliches Publikum erstellt wurde. Ein Suchmaschinen-Crawler, der Leser auf eine Webseite zurückleitet, ist eine Weiterleitung – und diese Weiterleitung ist wertvoll. Ein KI-Bot, der die Seite liest und die Antwort direkt an jemand anderen weitergibt, ist es nicht.

📌 „Ein Suchmaschinen-Crawler, der einen Leser zurückschickt, ist eine Weiterleitung. Ein Bot, der die Seite liest und die Antwort an jemand anderen weitergibt, ist keine Weiterleitung.“ – Begründung der Cloudflare-Richtlinie

🌎 Womit KI-Agenten-Crawler aktuell konfrontiert sind

Agentenbasierte Bereitstellungen beruhen seit Langem auf der Annahme, dass das offene Web offen bleibt. Betrachten wir diese gängigen Anwendungsfälle:

• A Forschungsagent Preisseite eines Mitbewerbers abrufen
• A Überwachungstool Überprüfung der Ankündigungen eines Lieferanten
• A Kundendienstmitarbeiter ein Datenblatt des Herstellers abrufen

Keiner dieser Dienste benötigte bisher eine Lizenz – bis jetzt. Cloudflare kontrolliert einen Großteil des weltweiten Webverkehrs, und das ist entscheidend. Seine Blöcke arbeiten auf Netzwerkebene. — nicht als ein robots.txt Vorschlag, den ein Crawler einfach ignorieren kann.

Werbefinanzierte Seiten sind genau das, was Agenten am meisten wollen – sie enthalten Nachrichten, Rezensionen, Preisinformationen und Produktberichte. Das Scheitern eines Agenten in einem Unternehmen ist keine Klage. Es ist Stille oder eine Antwort, die aus allem zusammengesetzt ist, was sie noch erreichen konnte.

🔍 Die Google-Komplikation

Es gibt eine wichtige Komplikation im Zusammenhang mit Google. Googlebot crawlt sowohl für die Suche als auch für das Training mit einem einzigen Bot. Nach der restriktivsten Regel gilt eine Website, die blockiert Ausbildung blockiert auch effektiv den Googlebot – und damit auch seine eigene Suchsichtbarkeit.

💬 CEO von Cloudflare Matthew Prince Das Unternehmen erklärte, es hoffe, dass diese Änderungen „Mischnutzungs-Crawler dazu anregen, die Suche von der Agentennutzung und dem Training zu trennen“ — eine höfliche Umschreibung dafür, dass der Druck der entscheidende Punkt ist.

✅ Berechtigung einholen: Was Agentenentwickler tun müssen

Alle, die KI-Agenten einsetzen, sollten jetzt folgende Schritte unternehmen:

1. Ermitteln Sie, welche Cloudflare-Konten der Agentenklasse zugeordnet werden. Die Klassifizierung erfolgt verhaltensbasiert – wenn ein Forschungsagent in Echtzeit surft, wird er erfasst, unabhängig davon, ob sein Bediener ihn als Crawler betrachtet.
2. Rechnen Sie mit einer eingeschränkten Netzabdeckung, nicht mit einem vollständigen Ausfall. Die Blockierung betrifft werbefinanzierte Seiten, andere bleiben aber erreichbar – es entstehen Lücken, keine vollständigen Aussperrungen.
3. Verhandlungszugang anstreben Anstatt die User-Agent-Strings neu zu schreiben, ist dies der einzig dauerhafte Weg.

📰 Was Verlage prüfen sollten

Verlage stehen vor ihrer eigenen Checkliste:

1. Prüfen Sie zuerst Ihren Cloudflare-Tarif. Für bestehende Kunden des kostenlosen Tarifs werden die neuen Standardeinstellungen am 15. September automatisch übernommen – ein Detail, das in den meisten Berichten völlig außer Acht gelassen wurde.
2. Wägen Sie die Kosten einer Blockierung des Trainings ab. Dabei wird auch Googlebot mit einbezogen, und Ihre Suchmaschinenplatzierungen werden entsprechend beeinträchtigt.
3. Achten Sie auf die Monetarisierungsmechanismen. Pay Per Crawl entwickelt sich zu Pay Per Use – Ceramic.ai bezahlt bereits jetzt Verlage, wenn deren Inhalte in KI-Suchergebnissen erscheinen, und You.com Die Zahlung erfolgt, wenn ein Agent auf Premium-Inhalte zugreift.

📊 Cloudflare berichtet, dass Mehr als die Hälfte des gesamten Datenverkehrs von KI-Crawlern wird für das erneute Abrufen von Seiten aufgewendet, die sich nicht geändert haben. — was auf beiden Seiten Verschwendung darstellt, die es nun wert ist, durch Preisgestaltung beseitigt zu werden.

⚠️ Die Schwäche des Systems

Eine entscheidende Schwachstelle liegt in der Taxonomie selbst. Suche, Agent und Training sind Verhaltensweisen, die KI-Unternehmen selbst für ihre eigenen Bots deklarieren. Ein Unternehmen, das es vorziehen würde, dass seine Trainingskrabben nicht als solche eingestuft werden Ausbildung hat einen offensichtlichen Anreiz, sie falsch darzustellen – und Cloudflares Ankündigung erklärt nicht, was dem entgegenwirkt.

🕑 Das große Ganze

Der Zugang zum offenen Internet ist seit dreißig Jahren kostenlos und unbegrenzt. Die Rechnung ist nun detailliert aufgeschlüsselt.

Dies ist die erste Runde eines größeren Inhaltskampfes – und die Antwort, die auf dem Tisch liegt, ist eine Rate, keine Mauer.

🔒 Agentenentwickler, die ihre Zugriffsrechte vor September regeln, haben ein praktikables Problem. Diejenigen, die erst durch einen 403-Fehler davon erfahren, müssen ihre Anwendung im laufenden Betrieb neu aufsetzen.