如何获得 AI 代理爬虫访问您网站的许可

AI代理爬虫——代表等待答案的用户实时抓取网页的机器人——将会 默认阻止 在网络的大部分区域，从……开始 9月15日Cloudflare 7月1日宣布了这一变化虽然大部分报道都集中在Google身上，但更重要的故事是，这对所有构建 AI 代理的人来说意味着什么——以及 Cloudflare 能提供什么回报。

🔐 Cloudflare 的全新三级机器人分类

Cloudflare 已将其单一的“阻止 AI 机器人”开关替换为 三个不同的类别所有这些服务都于7月1日面向所有客户上线，包括免费用户：

• 搜索 — 能够索引页面并回答未来有关该页面的查询的机器人。
• 代理人 — 为用户实时执行自动化系统的系统，包括 ChatGPT 的 fetch bot 和浏览器驱动代理。
• 训练 — 将内容拉取到模型训练权重中的爬虫。

🔔 自9月15日起： 两个都 训练 和 代理人 默认情况下，任何显示广告的页面都会阻止网络爬虫程序运行。 搜索 爬虫仍将被允许使用。

新的默认设置适用于：

• 新加入 Cloudflare 的域名
• 现有客户建立的新网站
• 所有现有免费套餐用户 ——自动完成，无需任何操作

⚠️ 希望选择退出的网站所有者可以通过他们的网站进行操作。 9月15日之前的安全设置。

🤖 Cloudflare 的核心论点

Cloudflare 的理由很简单： 广告的存在证明该页面是为人类受众而建的。 将读者引导回网站的搜索引擎爬虫是一种推荐——这种推荐是有价值的。而读取页面内容后直接将答案交给其他人的AI机器人则不具备这种价值。

📌“将读者重定向回其他页面的搜索引擎爬虫属于推荐。而读取页面内容并将答案转交给其他人的机器人则不属于推荐。”——Cloudflare 官方政策说明

🌎 AI代理爬虫目前遇到的问题

长期以来，智能体部署一直基于开放网络始终保持开放的假设。请考虑以下常见用例：

• 一个 研究代理 获取竞争对手的定价页面
• 一个 监控工具 查看供应商的公告
• 一个 客户服务代理 拿出制造商的规格表

这些服务以前都不需要许可证——直到现在。Cloudflare 占据了全球大部分网络流量的前端，而且至关重要的是， 它的模块在网络层运行。 ——并非作为一种 robots.txt 爬虫程序可以忽略的建议。

广告支持页面正是代理商最想要的页面——它们承载着新闻、评论、价格数据和产品介绍。对于企业代理商而言，失败的后果并非诉讼。 它是沉默，或者说是它所能触及的一切拼凑而成的答案。

🔍 Google 复杂功能

Google方面存在一个重大问题。 Googlebot 使用单个机器人同时进行搜索和训练。 根据最严格的规则，一个网站会屏蔽 训练 它还能有效阻止 Googlebot——以及随之而来的， 它自身的搜索可见性。

💬 Cloudflare 首席执行官 马修·普林斯 该公司表示希望这些改变能够 “鼓励混合用途爬虫将搜索与代理使用和训练分开” ——委婉地说，关键在于施加压力。

✅ 获取许可：代理商建筑商需要做什么

任何运行人工智能代理的人员现在都应该采取以下步骤：

1. 确定哪些 Cloudflare 帐户将被归类为代理类帐户。 分类依据行为——如果一个研究代理实时浏览，无论其操作员是否认为它是爬虫，它都会被捕获。
2. 预计网络覆盖范围会下降，而不是完全失效。 该屏蔽措施针对的是广告支持页面，而其他页面则仍然可以访问——这意味着会有访问空白，而不是完全屏蔽。
3. 寻求协商准入 而不是重写用户代理字符串。这是唯一持久有效的解决方案。

📰 出版商需要检查什么

出版商也需要审视自己的一套流程：

1. 请先查看您的 Cloudflare 套餐级别。 现有免费套餐用户将于 9 月 15 日自动迁移到新的默认套餐——大多数媒体报道完全忽略了这一细节。
2. 权衡阻止培训的成本。 这样做也会带动 Googlebot 一起移动，你的搜索排名也会随之改变。
3. 密切关注其盈利机制。 按次付费爬取模式正在向按使用付费模式转变—— Ceramic.ai 当内容出现在人工智能搜索结果中时，该公司已经向发布商支付了费用，而且 You.com 当代理商访问高级内容时，即可获得报酬。

📊 Cloudflare报告称 超过一半的AI爬虫流量都消耗在重新抓取未更改的页面上。 ——这代表着双方的浪费，现在值得通过定价来消除。

⚠️ 系统的弱点

一个关键的漏洞在于分类法本身。 搜索、代理和训练是人工智能公司对其自身机器人所宣称的行为。 一家公司不希望其培训爬行活动被归类为 训练 Cloudflare 显然有动机歪曲事实——而 Cloudflare 的声明并没有解释是什么阻止了这种行为。

🕑 大局观

三十年来，访问开放网络一直是免费且不受限制的。 账单现已列明明项。

这是更大规模内容争夺战的第一轮——而摆在桌面上的答案是： 速度不是墙。

🔒 在九月之前解决访问权限问题的代理商建站商面临的问题尚可解决。而那些遇到 403 错误才发现问题的代理商则需要临时重建网站。