Patreon 联手 Cloudflare：不再客气协商，直接主动封杀 AI 爬虫

互联网老规矩 robots.txt 就像挂在门上的「请勿打扰」牌子，以前大家都讲礼貌，牌子挂上就没人硬闯。但这几年大模型一出来，很多 AI 爬虫直接无视这块牌子，推门就进，抓完数据就走。

周四，创作者订阅平台 Patreon 宣布不跟 AI 爬虫讲客气了。他们正与网络基础设施服务商 Cloudflare 联手，直接在底层硬性拦截那些未经许可抓取创作者内容用于 AI 训练的爬虫。

以前防君子，现在得防小偷

Patreon 解释说，早在 2023 年他们就采取过一些限制措施，但现在的 AI 爬虫技术越来越刁钻。单纯靠修改 robots.txt 提出请求，本质上是在指望爬虫自觉，但现实往往很打脸。

Patreon 在官方博客里写得很直白：创作者是否同意授权，绝不能取决于爬虫自己讲不讲规矩。

以前，Patreon 创作者的大部分心血都锁在付费墙后面，爬虫本来也进不去。但最近平台为了帮创作者扩大影响力，上线了重新设计的首页信息流，还推出了类似推文的短动态功能 Quips。

这些公开内容一多，立刻成了 AI 爬虫眼里的肥肉。Patreon 引入了 Cloudflare 的 AI Crawl Control 技术来更新防御策略，测试结果非常夸张：单个 AI 训练爬虫每周原本多达数千次的抓取尝试，直接被硬生生压到了零次。

但这不代表 Patreon 要把自家网站彻底封成一座孤岛。

区分好坏爬虫，不能误伤流量

Patreon 产品负责人 Drew Rowny 明确表示，他们拦截的只是拿数据去喂大模型的训练爬虫，而那些负责抓取索引、能把普通用户引导回 Patreon 平台的爬虫，依然会被放行。

在很多公开平台上，创作者为了获得曝光，不得不默默忍受作品被 AI 强行抓去当训练素材。但 Patreon 认为创作者既有权拓展受众，也必须对自己作品的去向拥有掌控权。

作为背后的技术提供方，Cloudflare 本月早些时候刚调整了规则，对挂有广告的页面默认封禁那些既做搜索索引又拿数据做训练的混合用途爬虫。此外，Cloudflare 还推出过按次收费的爬虫市场，帮网站主向爬虫收费。

为什么重要

对创作者来说，这是个实实在在的好消息。你现在可以更放心地在 Patreon 上发公开动态和 Quips 吸粉，不用担心自己免费发布的作品第二天就成了别人大模型的养料，而且这一切不需要创作者懂任何技术配置，平台已经在底层替你挡掉了风险。

从行业角度看，这件事敲响了传统网络爬虫协议的丧钟。过去几十年维系互联网运转的 robots.txt 君子协定，在面对大模型的数据饥渴时已经名存实亡，内容平台联合网络基础设施厂商进行网络层硬拦截，正在成为新的标准配置。

我们认为 Patreon 这一步走得相当清醒。他们没有一刀切地把所有爬虫拒之门外，而是努力把导流爬虫和洗稿训练爬虫分开，试图在曝光度和版权保护之间找平衡。

但这里的隐患依然存在：如今像很多科技巨头旗下的爬虫，往往既管搜索也管大模型训练，这种混合爬虫到底怎么精准识别，未来很可能演变成一场长期的猫鼠游戏。