Cloudflare 推出 AI 爬虫付费墙：网站可一键拦截或按次收费

以前是 AI 公司在全网大肆抓取数据，网站站长只能眼睁睁看着流量被吸走，连个响动都听不见。

现在，守着全球网络大门的 Cloudflare 站了出来，准备给这些抓数据的爬虫立一个「收费站」。

当地时间周二，Cloudflare 宣布推出一项新功能，允许网站所有者彻底屏蔽 AI 聊天机器人的抓取，或者对每一次抓取请求直接收费。

Cloudflare 联合创始人兼 CEO Matthew Prince 直言，整个互联网正在被 AI 爬虫「露天开采」，而内容创作者几乎拿不到任何回流的流量，也就无法获得任何价值。

三个开关与过路费

这次 Cloudflare 给站长们提供了三种选择。

第一种是继续大开绿灯，允许 AI 机器人完全免费访问你的站点。

第二种是一刀切，直接把所有 AI 聊天机器人彻底挡在门外。

第三种最引人注目，站长可以给整个网站设定一个统一的「按次请求费」，AI 公司想抓页面，就得按次掏真金白银。

如果站长私下已经和某家公司达成了数据合作，也可以单独给特定的爬虫设置豁免，继续免费放行。

Cloudflare 把这套机制称为网络内容控制方式的「技术性转变」，核心目的就是把控制权交还给创作者自己。

疯狂暴增的 65%

这套收费工具来得并不突兀。

Cloudflare 公布的数据显示，仅仅在过去的 6 个月里，用于 AI 训练的网页抓取活动就暴增了 65%。

去年 7 月，Cloudflare 就曾试水推出过一个一键拦截 AI 爬虫的功能，当时吸引了超过 100 万站长开启。

但单纯拦截只能防守，不能变现，创作者和 AI 公司之间的利益死结依然解不开。

按照 Cloudflare 在 2023 年第三季度报告中的测算，全球大约 16% 的互联网流量都会经过他们的网络平台。

这意味着，只要 Cloudflare 摆出收费站的架势，大批 AI 开发者获取训练语料的成本和难度都会直线上升。

Prince 对此解释得很清楚，内容就是驱动 AI 引擎运转的燃料，让创作者直接拿到报酬才是公平的。

为什么重要

对普通网站主和独立创作者来说，这相当于天上掉下了一根维权杠杆。

以前小网站根本没有资格坐到 OpenAI 或 Google 的谈判桌前，就算内容被抓走训练也只能吃哑巴亏，现在只要挂在 Cloudflare 后面，就能一键选择是收门票还是关门谢客。

我们认为，Cloudflare 这步棋下得极其精明，它直接把自己从一个底层的安全管道，变成了全网内容交易的中间商和清算所。

但这件事也有潜在的隐患，一旦把抓取门槛提到按次计费的高度，腰包鼓的大模型巨头尚能承受，中小开发者和开源团队获取新知识的难度将被大幅拉开。

看起来，互联网免费开放获取数据的黄金时代已经彻底结束了，未来的全网知识库，每一行文字都正在明码标价。