Cloudflare 對 AI 爬蟲下通牒：不把訓練與搜尋分開就預設攔截

如果你做過網站，大概經歷過這種憋屈：你想讓 Google 搜到你的網頁帶來讀者，但 Google 的爬蟲轉頭就把你的文章拿去喂大模型做總結，讀者看一眼答案就走，連你頁面上的廣告都懶得點。

現在，全球最大的網路基礎設施服務商 Cloudflare 打算給這種搭便車的行為劃一條硬線。Cloudflare 宣佈給 AI 行業設定截止日期：2026 年 9 月 15 日之前，各家必須把用於傳統搜尋的爬蟲，和用於 AI 訓練、AI Agent 的爬蟲徹底拆開。

到了那天，只要網站頁面上掛著廣告，Cloudflare 就會在預設設定下直接攔截混合用途的爬蟲。新客戶、老客戶新建的網站，以及所有現有的免費套餐使用者，都會直接生效這套新規則。

逼搜尋引擎把兩隻手分開

大多數站長的心態其實很務實：內容希望被搜尋引擎找到，甚至被 AI 服務引用也不排斥，但不能一聲不吭白拿走版權。

Cloudflare 在公告裡不點名地敲打了某家全球最大搜索引擎。Cloudflare 指出，這家巨頭能拿到的網路資訊量差不多是其他 AI 公司的兩倍，原因就是它把搜尋收錄和 AI 捆綁在一起，讓網站站長很難在保留搜尋排名的同時拒絕給 AI 當養料。

Google 對此曾解釋過，他們提供了專門的 Google-Extended 標識，允許站長拒絕內容被用於 Gemini 和 Vertex API 訓練，而且不會影響網頁在普通搜尋裡的收錄。但現實是，負責主力抓取的 Googlebot 爬回來的內容，依然直接支撐著 AI Overviews 和 AI Mode 等搜尋內 AI 體驗。

讓 Cloudflare 下決心的另一個催化劑是流量結構的變化。Cloudflare 聯合創始人兼執行長 Matthew Prince 提到，網路上的非人類流量最近歷史上首次超過了人類流量，這個拐點本來預計明年才會發生。既然半數以上的網路流量都是機器人在跑，規則就必須重寫。

而且機器人的效率往往並不高。Cloudflare 的統計資料顯示，AI 爬蟲超過 50% 的流量都在反覆抓取根本沒有改動過的網頁，平白消耗站長的頻寬和 AI 公司的算力。

從按次抓取到按實際價值結賬

除了下通牒，Cloudflare 還想順手把交易機制給搭起來。他們之前推出過讓網站按抓取次數向 AI 收費的 Pay Per Crawl，現在這項服務進一步升級成了 Pay Per Use，也就是按使用付費。

兩者的區別在於，AI 公司光把網頁抓回去存著不用再給錢，只有當內容真正產生了價值，網站才能拿到分成。

這套機制已經拉來了第一批合作伙伴。比如加入該計劃的網站，當內容出現在 Ceramic.ai 的 AI 搜尋結果裡，或者 You.com 調取了網站的高階付費內容時，站長就能分到真金白銀。Cloudflare 表示其他 AI 公司也可以根據自己的業務模式定製這種分成機制。

為什麼重要

我們認為，Cloudflare 這一手走得非常精明。它沒有站在 AI 的對立面搞一刀切封死，而是挾持著全球大比例的網站閘道器，直接充當了內容創作者和 AI 巨頭之間的過路收費站。

對普通站長和獨立創作者來說，這絕對是個好訊息。以前面對科技巨頭的爬蟲霸權，中小站點幾乎沒有談判籌碼，不給抓就被降權，給了抓就血本無歸。一旦 Cloudflare 把攔截做成預設開關，站長不需要懂複雜的機器人協議，就能自動獲得防禦手段。

但這裡也有隱患。按使用付費聽起來很美，核心卻在於透明度：AI 公司究竟什麼時候呼叫了內容、帶來了多少價值，計費標準誰來審計，目前看起來依然缺乏全行業認可的公開標準。如果分成微薄到可以忽略不計，很多站長可能寧願選擇全盤拉黑。

對整個行業而言，這會直接逼迫 Google 等巨頭重新拆分內部技術管道。搜素引擎再想像過去那樣左手拿著流量大棒逼站長就範，右手把語料直接灌進大模型，這種雙頭通吃的日子恐怕要到頭了。