Cloudflare 推出 AI 爬蟲付費牆：網站可一鍵攔截或按次收費

以前是 AI 公司在全網大肆抓取資料，網站站長只能眼睜睜看著流量被吸走，連個響動都聽不見。

現在，守著全球網路大門的 Cloudflare 站了出來，準備給這些抓資料的爬蟲立一個「收費站」。

當地時間週二，Cloudflare 宣佈推出一項新功能，允許網站所有者徹底遮蔽 AI 聊天機器人的抓取，或者對每一次抓取請求直接收費。

Cloudflare 聯合創始人兼 CEO Matthew Prince 直言，整個網際網路正在被 AI 爬蟲「露天開採」，而內容創作者幾乎拿不到任何迴流的流量，也就無法獲得任何價值。

三個開關與過路費

這次 Cloudflare 給站長們提供了三種選擇。

第一種是繼續大開綠燈，允許 AI 機器人完全免費訪問你的站點。

第二種是一刀切，直接把所有 AI 聊天機器人徹底擋在門外。

第三種最引人注目，站長可以給整個網站設定一個統一的「按次請求費」，AI 公司想抓頁面，就得按次掏真金白銀。

如果站長私下已經和某家公司達成了資料合作，也可以單獨給特定的爬蟲設定豁免，繼續免費放行。

Cloudflare 把這套機制稱為網路內容控制方式的「技術性轉變」，核心目的就是把控制權交還給創作者自己。

瘋狂暴增的 65%

這套收費工具來得並不突兀。

Cloudflare 公佈的資料顯示，僅僅在過去的 6 個月裡，用於 AI 訓練的網頁抓取活動就暴增了 65%。

去年 7 月，Cloudflare 就曾試水推出過一個一鍵攔截 AI 爬蟲的功能，當時吸引了超過 100 萬站長開啟。

但單純攔截只能防守，不能變現，創作者和 AI 公司之間的利益死結依然解不開。

按照 Cloudflare 在 2023 年第三季度報告中的測算，全球大約 16% 的網際網路流量都會經過他們的網路平臺。

這意味著，只要 Cloudflare 擺出收費站的架勢，大批 AI 開發者獲取訓練語料的成本和難度都會直線上升。

Prince 對此解釋得很清楚，內容就是驅動 AI 引擎運轉的燃料，讓創作者直接拿到報酬才是公平的。

為什麼重要

對普通網站主和獨立創作者來說，這相當於天上掉下了一根維權槓桿。

以前小網站根本沒有資格坐到 OpenAI 或 Google 的談判桌前，就算內容被抓走訓練也只能吃啞巴虧，現在只要掛在 Cloudflare 後面，就能一鍵選擇是收門票還是關門謝客。

我們認為，Cloudflare 這步棋下得極其精明，它直接把自己從一個底層的安全管道，變成了全網內容交易的中間商和清算所。

但這件事也有潛在的隱患，一旦把抓取門檻提到按次計費的高度，腰包鼓的大模型巨頭尚能承受，中小開發者和開源團隊獲取新知識的難度將被大幅拉開。

看起來，網際網路免費開放獲取資料的黃金時代已經徹底結束了，未來的全網知識庫，每一行文字都正在明碼標價。