Как получить разрешение для работы краулеров ИИ на вашем веб-сайте

Искусственный интеллект, используемый в качестве поискового робота — бота, который в режиме реального времени загружает веб-страницы от имени пользователей, ожидающих ответа, — будет использоваться. заблокировано по умолчанию на значительной части интернета, начиная с 15 сентябряCloudflare Об изменении было объявлено 1 июля.И хотя большая часть освещения событий сосредоточена на Google, более важным является вопрос о том, что это значит для всех, кто разрабатывает агентов искусственного интеллекта, и что Cloudflare предлагает взамен.

🔐 Новая трехуровневая классификация ботов от Cloudflare

Cloudflare заменила свой единственный переключатель "блокировать ботов с искусственным интеллектом" на три отдельные категорииВсе эти функции стали доступны всем клиентам 1 июля, включая пользователей бесплатного тарифа:

• Поиск — Боты, которые индексируют страницу для ответа на будущие запросы о ней.
• Агент — Автоматизированные системы, работающие в режиме реального времени для пользователя, включая бота для получения информации ChatGPT и агентов, управляющих браузером.
• Обучение — Веб-краулеры, которые загружают контент в обучающие веса модели.

🔔 С 15 сентября: Оба Обучение и Агент Поисковые роботы будут по умолчанию заблокированы на любой странице, отображающей рекламу. Поиск Ползучие насекомые по-прежнему будут разрешены.

Новые значения по умолчанию применяются к:

• Домены, недавно подключившиеся к Cloudflare.
• Новые сайты, созданные существующими клиентами.
• Все существующие клиенты бесплатного тарифа — автоматически, без каких-либо действий.

⚠️ Владельцы сайтов, желающие отказаться от участия, могут сделать это через свои учетные записи. настройки безопасности до 15 сентября.

🤖 Основной аргумент Cloudflare

Логика Cloudflare проста: Реклама свидетельствует о том, что страница была создана для человеческой аудитории. Поисковый робот, который возвращает читателей на сайт, является рефералом — и этот реферал имеет ценность. А вот бот с искусственным интеллектом, который читает страницу и передает ответ непосредственно другому пользователю, таковым не является.

📌 «Поисковый робот, который отправляет читателя обратно, является рефералом. Бот, который читает страницу и передает ответ другому пользователю, таковым не является». — Заявленное обоснование политики Cloudflare.

🌎 С чем сейчас сталкиваются агенты-краулеры с искусственным интеллектом?

Развертывание агентов долгое время основывалось на предположении, что открытый интернет остается открытым. Рассмотрим следующие распространенные сценарии использования:

• А исследовательский агент получение страницы с ценами конкурента
• А инструмент мониторинга проверка объявлений поставщика
• А агент службы поддержки клиентов получение технических характеристик от производителя

Ни для одного из них раньше не требовалась лицензия — до сих пор. Cloudflare обрабатывает значительную часть мирового веб-трафика, и, что особенно важно, Его блоки работают на сетевом уровне. — не как robots.txt Предложение, которое поисковый робот может просто проигнорировать.

Страницы с рекламой — это именно те страницы, которые агенты хотят видеть чаще всего: на них размещаются новости, обзоры, информация о ценах и описания продуктов. Для корпоративного агента неудача заключается не в судебном иске. Это молчание или ответ, собранный из того, что еще удалось найти.

🔍 Развертка Google

В ситуации с Google возникла существенная сложность. Googlebot использует один и тот же бот для сканирования как в целях поиска, так и для обучения. Согласно самым строгим правилам, сайт, который блокирует Обучение также эффективно блокирует Googlebot — и вместе с ним, собственная видимость в поиске.

💬 Генеральный директор Cloudflare Мэтью Принс Компания заявила, что надеется на эти изменения. «Рекомендуется поощрять использование поисковых роботов смешанного назначения, разделяя поиск, использование агентов и обучение». — вежливый способ сказать, что давление и есть цель.

✅ Получение разрешения: что нужно сделать разработчикам агентов

Всем, кто использует агентов искусственного интеллекта, следует немедленно выполнить следующие шаги:

1. Определите, какие учетные записи Cloudflare будут отнесены к классу «Агент». Классификация основана на поведенческом анализе — если исследовательский агент просматривает страницы в режиме реального времени, он обнаруживается независимо от того, считает ли оператор его поисковым роботом.
2. Ожидайте ухудшения качества покрытия, а не полного отказа. Блокировка затрагивает страницы с рекламой, оставляя другие доступными — то есть, создаются промежутки, а не происходит полное затемнение.
3. Добивайтесь согласованного доступа вместо того, чтобы перезаписывать строки user-gent. Это единственный надежный способ решения проблемы.

📰 Что издателям нужно проверить

Издателям предстоит пройти через свой собственный список проверок:

1. Сначала проверьте свой тарифный план Cloudflare. Существующие пользователи бесплатного тарифа будут автоматически переведены на новые настройки по умолчанию 15 сентября — деталь, которую большинство источников полностью упустили из виду.
2. Оцените издержки, связанные с блокировкой обучения. В этом случае также будет задействован Googlebot, а вместе с ним и ваши позиции в поисковой выдаче.
3. Обратите внимание на механизмы монетизации. Плата за сканирование трансформируется в плату за использование. Ceramic.ai уже платит издателям, когда их контент появляется в результатах поиска, созданных с помощью ИИ, и You.com Плата взимается, когда агент получает доступ к премиум-контенту.

📊 Компания Cloudflare сообщает, что Более половины всего трафика, обрабатываемого поисковыми роботами с искусственным интеллектом, тратится на повторную загрузку страниц, которые не изменились. — это представляет собой потери с обеих сторон, которые теперь стоит исключить из ценообразования.

⚠️ Слабость системы

Одна из важнейших уязвимостей заключается в самой таксономии. Поиск, работа с агентом и обучение — это модели поведения, которые компании, занимающиеся разработкой ИИ, сами заявляют о своих собственных ботах. Компания, которая предпочла бы, чтобы ее тренировочные упражнения не классифицировались как Обучение У компании Cloudflare есть очевидный стимул искажать эти данные, и в заявлении компании не объясняется, что этому препятствует.

🕑 Более широкая картина

Доступ к открытому интернету был бесплатным и неограниченным на протяжении тридцати лет. Теперь счет составлен по пунктам.

Это первый раунд более масштабной борьбы за контент, и ответ, который нам предлагают, — это... ставкане стена.

🔒 Агентам, которые решат проблему с доступом до сентября, предстоит ее решить. Те же, кто обнаружит ошибку 403, будут вынуждены восстанавливать систему на ходу.