Reddit 與 Yahoo 聯手力挺 RSL 標準：向抓取資料的 AI 公司收版權費

過去面對 AI 爬蟲，網站只有兩種選擇：要麼在 robots.txt 裡關門大吉，眼睜睜看著內容被阻擋在 AI 時代之外；要麼像頭部媒體那樣，私下和 OpenAI 簽下一紙上千萬美元的獨家大單。至於剩下的中小網站，基本只能被白嫖。

現在，當年發明 RSS 的老兵決定再造一套新輪子，直接向 AI 開發者收過路費。

Reddit、Yahoo、Medium、Quora、People Inc. 以及 wikiHow 等知名內容平臺聯合宣佈，支援一項名為 RSL（Really Simple Licensing，極簡授權）的開放內容許可標準。這套標準旨在讓網站自己定規矩，明確規定 AI 抓取其內容用於訓練時該交多少錢。

把版權合同直接寫進 robots.txt

這套標準由新成立的 RSL Collective 牽頭推進。負責掌舵的是 RSS 聯合發明人 Eckart Walther，以及 IAC Publishing 和 Ask.com 的前執行長 Doug Leeds。

以往的 robots.txt 只能對爬蟲說「準進」或「不準進」，屬於非黑即白的粗暴開關。RSL 則是在這個老協議的基礎上做擴充套件，讓站長能把授權條款和版稅規則直接寫進 robots.txt 裡，甚至能嵌入到電子書、影片和訓練資料集中。

不僅如此，它的收費模式很靈活。站長可以設定包月訂閱，也可以要求按次付費，比如 AI 爬蟲每抓取一次網站就收一次錢。

更有意思的是按推理付費模式。當 AI 模型在生成答案時參考了某個網站的內容，該網站也能拿到對應補償。至於搜尋引擎收錄或學術歸檔這類傳統的抓取行為，依舊維持原樣，不受影響。

拉上 CDN 當門衛，組團打官司

不過，只寫明條款並沒有強制力，畢竟無視 robots.txt 的 AI 爬蟲屢見不鮮。

為了把門守住，RSL 找來了 CDN 服務商 Fastly 合作。Doug Leeds 把 Fastly 比作夜店門口的保安，RSL 負責給願意付費的 AI 公司發門票，Fastly 查驗通過才放行爬蟲。但這也意味著，沒用 Fastly 服務的網站，現階段還沒法直接攔住違規抓取。

光靠技術防守還不夠，他們還效仿了音樂版權機構 ASCAP 的模式，成立集體權利組織。一旦有 AI 公司違規白嫖，所有成員一起分攤維權和訴訟成本。

按 Doug Leeds 的話說，把大網站拉到一起談判，能形成法律威懾：要麼 AI 公司一次性跟所有人把賬算清，要麼一動手就同時侵犯所有人的權益。

為什麼重要

我們認為，RSL 最聰明的點在於它不打算重造輪子。它沒有搞一套複雜的區塊鏈或另立門派，而是寄生在存在了三十多年的 robots.txt 和現有 CDN 架構上，試圖把版權談判的門檻砸到最低。

對中小站長和獨立創作者來說，這至少提供了一種可能。以前只有頂流媒體有底氣坐上巨頭的談判桌，普通創作者根本沒有議價權。如果 RSL 能普及，內容變現就不再只是少數巨頭的特權。

但看起來，這套體系的最大命門依然在執行端。按推理付費聽上去很美好，但在黑盒執行的大模型裡，AI 呼叫了哪家內容完全由模型廠商自己說了算，外界根本無法透明審計。

更現實的問題在於法律。音樂版權有著數十年成熟的判例撐腰，而用公開資料訓練 AI 到底算不算侵權，目前在全球法庭上仍處於巨大爭議中。如果大模型公司咬定抓取屬於合理使用、繼續假裝看不見 robots.txt，僅靠民間的協議聯盟，恐怕很難真正逼巨頭老老實實掏錢。