Reddit 与 Yahoo 联手力挺 RSL 标准：向抓取数据的 AI 公司收版权费

过去面对 AI 爬虫，网站只有两种选择：要么在 robots.txt 里关门大吉，眼睁睁看着内容被阻挡在 AI 时代之外；要么像头部媒体那样，私下和 OpenAI 签下一纸上千万美元的独家大单。至于剩下的中小网站，基本只能被白嫖。

现在，当年发明 RSS 的老兵决定再造一套新轮子，直接向 AI 开发者收过路费。

Reddit、Yahoo、Medium、Quora、People Inc. 以及 wikiHow 等知名内容平台联合宣布，支持一项名为 RSL（Really Simple Licensing，极简授权）的开放内容许可标准。这套标准旨在让网站自己定规矩，明确规定 AI 抓取其内容用于训练时该交多少钱。

把版权合同直接写进 robots.txt

这套标准由新成立的 RSL Collective 牵头推进。负责掌舵的是 RSS 联合发明人 Eckart Walther，以及 IAC Publishing 和 Ask.com 的前首席执行官 Doug Leeds。

以往的 robots.txt 只能对爬虫说「准进」或「不准进」，属于非黑即白的粗暴开关。RSL 则是在这个老协议的基础上做扩展，让站长能把授权条款和版税规则直接写进 robots.txt 里，甚至能嵌入到电子书、视频和训练数据集中。

不仅如此，它的收费模式很灵活。站长可以设置包月订阅，也可以要求按次付费，比如 AI 爬虫每抓取一次网站就收一次钱。

更有意思的是按推理付费模式。当 AI 模型在生成答案时参考了某个网站的内容，该网站也能拿到对应补偿。至于搜索引擎收录或学术归档这类传统的抓取行为，依旧维持原样，不受影响。

拉上 CDN 当门卫，组团打官司

不过，只写明条款并没有强制力，毕竟无视 robots.txt 的 AI 爬虫屡见不鲜。

为了把门守住，RSL 找来了 CDN 服务商 Fastly 合作。Doug Leeds 把 Fastly 比作夜店门口的保安，RSL 负责给愿意付费的 AI 公司发门票，Fastly 查验通过才放行爬虫。但这也意味着，没用 Fastly 服务的网站，现阶段还没法直接拦住违规抓取。

光靠技术防守还不够，他们还效仿了音乐版权机构 ASCAP 的模式，成立集体权利组织。一旦有 AI 公司违规白嫖，所有成员一起分摊维权和诉讼成本。

按 Doug Leeds 的话说，把大网站拉到一起谈判，能形成法律威慑：要么 AI 公司一次性跟所有人把账算清，要么一动手就同时侵犯所有人的权益。

为什么重要

我们认为，RSL 最聪明的点在于它不打算重造轮子。它没有搞一套复杂的区块链或另立门派，而是寄生在存在了三十多年的 robots.txt 和现有 CDN 架构上，试图把版权谈判的门槛砸到最低。

对中小站长和独立创作者来说，这至少提供了一种可能。以前只有顶流媒体有底气坐上巨头的谈判桌，普通创作者根本没有议价权。如果 RSL 能普及，内容变现就不再只是少数巨头的特权。

但看起来，这套体系的最大命门依然在执行端。按推理付费听上去很美好，但在黑盒运行的大模型里，AI 调用了哪家内容完全由模型厂商自己说了算，外界根本无法透明审计。

更现实的问题在于法律。音乐版权有着数十年成熟的判例撑腰，而用公开数据训练 AI 到底算不算侵权，目前在全球法庭上仍处于巨大争议中。如果大模型公司咬定抓取属于合理使用、继续假装看不见 robots.txt，仅靠民间的协议联盟，恐怕很难真正逼巨头老老实实掏钱。