Cloudflare 上線一鍵攔截 AI 爬蟲：全員免費，專治偽裝抓取

以前做網站，最怕的是駭客打流量；現在做網站，最頭疼的是各路大模型爬蟲沒日沒夜地抓內容，還不打招呼。

Cloudflare 上線了一個一鍵開關，讓所有站長徹底封死抓取網頁資料的 AI 爬蟲。最良心的是，這個功能連免費套餐使用者都能直接用。

站長只需要在控制台裡點進安全設定的機器人板塊，把名為「AI Scrapers and Crawlers」的開關開啟，Cloudflare 就會在閘道器層面把那些跑來爬資料喂模型的爬蟲擋在門外。

位元組與 OpenAI 抓得最兇，但站長大多沒防住

為了摸清這些 AI 到底抓得多狠，Cloudflare 統計了自己網路裡的流量分佈。結果發現，全網請求量最大的四個 AI 爬蟲分別是字節跳動的 Bytespider、亞馬遜的 Amazonbot、Anthropic 的 ClaudeBot，以及 OpenAI 的 GPTBot。

其中字節跳動的 Bytespider 跑得最歡，它不僅請求量排第一，抓取覆蓋面和被站長封禁的次數也是第一。在 Cloudflare 保護的所有網站中，有 40.40% 都能看到它的身影。OpenAI 的 GPTBot 緊隨其後，覆蓋了 35.46% 的站點，ClaudeBot 則佔了 11.17%。

有意思的是站長們的反應。Cloudflare 分析了訪問量前一百萬的網站，6 月份有 38.73% 的站點被 AI 爬蟲光顧過，但真正出手攔截的只有 2.98%。

而且很多人防範意識有偏差。多數網站在 robots.txt 檔案裡只會寫上 GPTBot、CCBot 或者 Google，卻完全漏掉了動靜極大的 Bytespider 和 ClaudeBot。

偽裝瀏覽器也沒用，機器指紋原形畢露

光靠寫 robots.txt 防爬蟲，在今天幾乎是防君子不防小人。這類規則全憑爬蟲自覺，只要對方換掉請求頭裡的標識，假裝自己是個正常瀏覽器，傳統規則就成了擺設。比如前陣子 AI 搜尋公司 Perplexity 就被指責偽裝成正常訪客去抓網頁。

Cloudflare 覺得靠協議自覺已經行不通了。他們平均每秒處理超過 5700 萬次請求，後臺的機器學習模型會直接分析請求的底層行為特徵和指紋。

在 Cloudflare 的打分體系裡，分值低於 30 就會被劃為疑似機器人。在他們測試的一次抓取中，違規爬蟲哪怕偽裝了正常瀏覽器的請求頭，最終得分也全掉到了 9 分以下。

換句話說，只要開了這個新功能，或者原本就配置了攔截低分請求的規則，不管爬蟲在請求頭裡怎麼撒謊，閘道器都會自動把它揪出來掐掉。

為什麼重要

這可以說是內容創作者和獨立站長拿回主動權的關鍵一步。之前 Reddit 把內容授權給 Google，一年能拿 6000 萬美元，但中小型站點既沒有法務團隊去打官司，也沒辦法和科技巨頭坐上談判桌。Cloudflare 把這個能力直接下放到免費版，任何人點一下就能止損，門檻被徹底打平了。

對整個 AI 行業來說，免費資料的好日子看起來要到頭了。Cloudflare 攔在全網相當大比例的網站前面，當它把封禁做成一鍵開關，意味著訓練前沿大模型賴以生存的公共語料庫會迅速縮水。科技巨頭要麼老老實實掏真金白銀買版權，要麼就得花更大成本去清洗有限的開源資料。

我們認為 Cloudflare 這一步走得相當漂亮。它沒有站在 AI 的對立面，而是精準踩中了站長群體的被剝奪感，順便把自家的安全網路護城河挖得更深。當然隱患也不是沒有：爬蟲公司為了生存，勢必會動用更逼真的逆向工程和分散式代理來模擬人類行為，這場貓鼠遊戲只會演變成更隱蔽的攻防對抗。