Cloudflare 对 AI 爬虫下通牒：不把训练与搜索分开就默认拦截

如果你做过网站，大概经历过这种憋屈：你想让 Google 搜到你的网页带来读者，但 Google 的爬虫转头就把你的文章拿去喂大模型做总结，读者看一眼答案就走，连你页面上的广告都懒得点。

现在，全球最大的网络基础设施服务商 Cloudflare 打算给这种搭便车的行为划一条硬线。Cloudflare 宣布给 AI 行业设定截止日期：2026 年 9 月 15 日之前，各家必须把用于传统搜索的爬虫，和用于 AI 训练、AI Agent 的爬虫彻底拆开。

到了那天，只要网站页面上挂着广告，Cloudflare 就会在默认设置下直接拦截混合用途的爬虫。新客户、老客户新建的网站，以及所有现有的免费套餐用户，都会直接生效这套新规则。

逼搜索引擎把两只手分开

大多数站长的心态其实很务实：内容希望被搜索引擎找到，甚至被 AI 服务引用也不排斥，但不能一声不吭白拿走版权。

Cloudflare 在公告里不点名地敲打了某家全球最大搜索引擎。Cloudflare 指出，这家巨头能拿到的网络信息量差不多是其他 AI 公司的两倍，原因就是它把搜索收录和 AI 捆绑在一起，让网站站长很难在保留搜索排名的同时拒绝给 AI 当养料。

Google 对此曾解释过，他们提供了专门的 Google-Extended 标识，允许站长拒绝内容被用于 Gemini 和 Vertex API 训练，而且不会影响网页在普通搜索里的收录。但现实是，负责主力抓取的 Googlebot 爬回来的内容，依然直接支撑着 AI Overviews 和 AI Mode 等搜索内 AI 体验。

让 Cloudflare 下决心的另一个催化剂是流量结构的变化。Cloudflare 联合创始人兼首席执行官 Matthew Prince 提到，网络上的非人类流量最近历史上首次超过了人类流量，这个拐点本来预计明年才会发生。既然半数以上的网络流量都是机器人在跑，规则就必须重写。

而且机器人的效率往往并不高。Cloudflare 的统计数据显示，AI 爬虫超过 50% 的流量都在反复抓取根本没有改动过的网页，平白消耗站长的带宽和 AI 公司的算力。

从按次抓取到按实际价值结账

除了下通牒，Cloudflare 还想顺手把交易机制给搭起来。他们之前推出过让网站按抓取次数向 AI 收费的 Pay Per Crawl，现在这项服务进一步升级成了 Pay Per Use，也就是按使用付费。

两者的区别在于，AI 公司光把网页抓回去存着不用再给钱，只有当内容真正产生了价值，网站才能拿到分成。

这套机制已经拉来了第一批合作伙伴。比如加入该计划的网站，当内容出现在 Ceramic.ai 的 AI 搜索结果里，或者 You.com 调取了网站的高级付费内容时，站长就能分到真金白银。Cloudflare 表示其他 AI 公司也可以根据自己的业务模式定制这种分成机制。

为什么重要

我们认为，Cloudflare 这一手走得非常精明。它没有站在 AI 的对立面搞一刀切封死，而是挟持着全球大比例的网站网关，直接充当了内容创作者和 AI 巨头之间的过路收费站。

对普通站长和独立创作者来说，这绝对是个好消息。以前面对科技巨头的爬虫霸权，中小站点几乎没有谈判筹码，不给抓就被降权，给了抓就血本无归。一旦 Cloudflare 把拦截做成默认开关，站长不需要懂复杂的机器人协议，就能自动获得防御手段。

但这里也有隐患。按使用付费听起来很美，核心却在于透明度：AI 公司究竟什么时候调用了内容、带来了多少价值，计费标准谁来审计，目前看起来依然缺乏全行业认可的公开标准。如果分成微薄到可以忽略不计，很多站长可能宁愿选择全盘拉黑。

对整个行业而言，这会直接逼迫 Google 等巨头重新拆分内部技术管道。搜素引擎再想像过去那样左手拿着流量大棒逼站长就范，右手把语料直接灌进大模型，这种双头通吃的日子恐怕要到头了。