Patreon 聯手 Cloudflare：不再客氣協商，直接主動封殺 AI 爬蟲

網際網路老規矩 robots.txt 就像掛在門上的「請勿打擾」牌子，以前大家都講禮貌，牌子掛上就沒人硬闖。但這幾年大模型一出來，很多 AI 爬蟲直接無視這塊牌子，推門就進，抓完資料就走。

週四，創作者訂閱平臺 Patreon 宣佈不跟 AI 爬蟲講客氣了。他們正與網路基礎設施服務商 Cloudflare 聯手，直接在底層硬性攔截那些未經許可抓取創作者內容用於 AI 訓練的爬蟲。

以前防君子，現在得防小偷

Patreon 解釋說，早在 2023 年他們就採取過一些限制措施，但現在的 AI 爬蟲技術越來越刁鑽。單純靠修改 robots.txt 提出請求，本質上是在指望爬蟲自覺，但現實往往很打臉。

Patreon 在官方部落格裡寫得很直白：創作者是否同意授權，絕不能取決於爬蟲自己講不講規矩。

以前，Patreon 創作者的大部分心血都鎖在付費牆後面，爬蟲本來也進不去。但最近平臺為了幫創作者擴大影響力，上線了重新設計的首頁資訊流，還推出了類似推文的短動態功能 Quips。

這些公開內容一多，立刻成了 AI 爬蟲眼裡的肥肉。Patreon 引入了 Cloudflare 的 AI Crawl Control 技術來更新防禦策略，測試結果非常誇張：單個 AI 訓練爬蟲每週原本多達數千次的抓取嘗試，直接被硬生生壓到了零次。

但這不代表 Patreon 要把自家網站徹底封成一座孤島。

區分好壞爬蟲，不能誤傷流量

Patreon 產品負責人 Drew Rowny 明確表示，他們攔截的只是拿資料去喂大模型的訓練爬蟲，而那些負責抓取索引、能把普通使用者引導回 Patreon 平臺的爬蟲，依然會被放行。

在很多公開平臺上，創作者為了獲得曝光，不得不默默忍受作品被 AI 強行抓去當訓練素材。但 Patreon 認為創作者既有權拓展受眾，也必須對自己作品的去向擁有掌控權。

作為背後的技術提供方，Cloudflare 本月早些時候剛調整了規則，對掛有廣告的頁面預設封禁那些既做搜尋索引又拿資料做訓練的混合用途爬蟲。此外，Cloudflare 還推出過按次收費的爬蟲市場，幫網站主向爬蟲收費。

為什麼重要

對創作者來說，這是個實實在在的好訊息。你現在可以更放心地在 Patreon 上發公開動態和 Quips 吸粉，不用擔心自己免費釋出的作品第二天就成了別人大模型的養料，而且這一切不需要創作者懂任何技術配置，平臺已經在底層替你擋掉了風險。

從行業角度看，這件事敲響了傳統網路爬蟲協議的喪鐘。過去幾十年維繫網際網路運轉的 robots.txt 君子協定，在面對大模型的資料飢渴時已經名存實亡，內容平臺聯合網路基礎設施廠商進行網路層硬攔截，正在成為新的標準配置。

我們認為 Patreon 這一步走得相當清醒。他們沒有一刀切地把所有爬蟲拒之門外，而是努力把導流爬蟲和洗稿訓練爬蟲分開，試圖在曝光度和版權保護之間找平衡。

但這裡的隱患依然存在：如今像很多科技巨頭旗下的爬蟲，往往既管搜尋也管大模型訓練，這種混合爬蟲到底怎麼精準識別，未來很可能演變成一場長期的貓鼠遊戲。