Cloudflare 上线一键拦截 AI 爬虫：全员免费，专治伪装抓取

以前做网站，最怕的是黑客打流量；现在做网站，最头疼的是各路大模型爬虫没日没夜地抓内容，还不打招呼。

Cloudflare 上线了一个一键开关，让所有站长彻底封死抓取网页数据的 AI 爬虫。最良心的是，这个功能连免费套餐用户都能直接用。

站长只需要在控制台里点进安全设置的机器人板块，把名为「AI Scrapers and Crawlers」的开关打开，Cloudflare 就会在网关层面把那些跑来爬数据喂模型的爬虫挡在门外。

字节与 OpenAI 抓得最凶，但站长大多没防住

为了摸清这些 AI 到底抓得多狠，Cloudflare 统计了自己网络里的流量分布。结果发现，全网请求量最大的四个 AI 爬虫分别是字节跳动的 Bytespider、亚马逊的 Amazonbot、Anthropic 的 ClaudeBot，以及 OpenAI 的 GPTBot。

其中字节跳动的 Bytespider 跑得最欢，它不仅请求量排第一，抓取覆盖面和被站长封禁的次数也是第一。在 Cloudflare 保护的所有网站中，有 40.40% 都能看到它的身影。OpenAI 的 GPTBot 紧随其后，覆盖了 35.46% 的站点，ClaudeBot 则占了 11.17%。

有意思的是站长们的反应。Cloudflare 分析了访问量前一百万的网站，6 月份有 38.73% 的站点被 AI 爬虫光顾过，但真正出手拦截的只有 2.98%。

而且很多人防范意识有偏差。多数网站在 robots.txt 文件里只会写上 GPTBot、CCBot 或者 Google，却完全漏掉了动静极大的 Bytespider 和 ClaudeBot。

伪装浏览器也没用，机器指纹原形毕露

光靠写 robots.txt 防爬虫，在今天几乎是防君子不防小人。这类规则全凭爬虫自觉，只要对方换掉请求头里的标识，假装自己是个正常浏览器，传统规则就成了摆设。比如前阵子 AI 搜索公司 Perplexity 就被指责伪装成正常访客去抓网页。

Cloudflare 觉得靠协议自觉已经行不通了。他们平均每秒处理超过 5700 万次请求，后台的机器学习模型会直接分析请求的底层行为特征和指纹。

在 Cloudflare 的打分体系里，分值低于 30 就会被划为疑似机器人。在他们测试的一次抓取中，违规爬虫哪怕伪装了正常浏览器的请求头，最终得分也全掉到了 9 分以下。

换句话说，只要开了这个新功能，或者原本就配置了拦截低分请求的规则，不管爬虫在请求头里怎么撒谎，网关都会自动把它揪出来掐掉。

为什么重要

这可以说是内容创作者和独立站长拿回主动权的关键一步。之前 Reddit 把内容授权给 Google，一年能拿 6000 万美元，但中小型站点既没有法务团队去打官司，也没办法和科技巨头坐上谈判桌。Cloudflare 把这个能力直接下放到免费版，任何人点一下就能止损，门槛被彻底打平了。

对整个 AI 行业来说，免费数据的好日子看起来要到头了。Cloudflare 拦在全网相当大比例的网站前面，当它把封禁做成一键开关，意味着训练前沿大模型赖以生存的公共语料库会迅速缩水。科技巨头要么老老实实掏真金白银买版权，要么就得花更大成本去清洗有限的开源数据。

我们认为 Cloudflare 这一步走得相当漂亮。它没有站在 AI 的对立面，而是精准踩中了站长群体的被剥夺感，顺便把自家的安全网络护城河挖得更深。当然隐患也不是没有：爬虫公司为了生存，势必会动用更逼真的逆向工程和分布式代理来模拟人类行为，这场猫鼠游戏只会演变成更隐蔽的攻防对抗。