Cloudflare 推出 AI Labyrinth：用 AI 迷宮困住違規爬蟲

過去網站對付偷資料的 AI 爬蟲，做法通常很簡單粗暴：直接關門拉黑，返回 403 錯誤。

但這招早就不好使了。抓資料的公司發現被攔，換個代理 IP、改一下請求頭，轉頭又鑽了進來，防守方只能疲於奔命。

Cloudflare 現在換了個思路：既然攔不住，那就索性不攔了，反手給爬蟲造一座走不出來的虛擬迷宮。

Cloudflare 正式上線了一項名為 AI Labyrinth 的新功能。只要站長在後臺點一下開關，就能把那些不守規矩的 AI 爬蟲誘導進一個由 AI 生成的無限網頁迷宮裡。這項功能直接面向所有客戶開放，連免費版使用者也能用。

按照 Cloudflare 披露的資料，現在每天有超過 500 億次 AI 爬蟲請求掃過他們的網路，佔到全網總請求量的將近 1%。面對這麼龐大的爬取大軍，單靠硬封鎖已經很難奏效。

給爬蟲造一個「無限套娃」的假世界

AI Labyrinth 的核心邏輯非常損：用生成式 AI 來反制生成式 AI。

當系統檢測到不守規矩的爬蟲在抓取網頁時，頁面上會出現普通人類肉眼完全看不到的隱藏連結。正常使用者瀏覽不受任何影響，搜尋引擎的正常收錄也會被專門的標籤保護起來。

但順著 HTML 程式碼爬行的機器人看到連結，就會以為自己找到了新寶藏，一頭扎進去。

等待它們的是 Cloudflare 提前用 Workers AI 和開源模型生成的逼真網頁。為了不拖慢網站速度，這些內容提前存放在 R2 儲存裡。為了不汙染網際網路，這些頁面寫的都是真實的科學常識，但跟原網站的業務內容沒有半點關係。

爬蟲點開一個頁面，裡面又連著另一個頁面。它們在裡面瘋狂爬取、解析、儲存，消耗著昂貴的 GPU 算力和頻寬，最後滿載而歸的卻是一堆跟原網站毫無關係的廢紙。

抓賊順便拿來當訓練資料

除了浪費對手的算力，AI Labyrinth 還是一個新一代蜜罐。

蜜罐技術在安全圈已經存在了幾十年，但過去的隱藏連結很容易被現代爬蟲識破。而這次的迷宮由大量互相交織的真實語料組成，正常人類絕不可能順著這種連結連點三四層。

一旦有訪客在迷宮深處流連忘返，Cloudflare 就可以百分之百確定它是個未報備的惡意機器人。

系統會立刻提取這個爬蟲的行為特徵和網路指紋，把它補充進惡意行為庫，並同步餵給底層的機器學習模型。這意味著，只要一個爬蟲踩進迷宮，它留下的指紋就會立刻用來保護 Cloudflare 上的其他所有站點。

目前這套系統生成的假頁面結構還比較固定。Cloudflare 表示，未來的版本會讓生成的迷宮頁面更加貼合原網站的結構風格，讓爬蟲更難察覺自己已經中了計。

為什麼重要

對中小站長和獨立開發者來說，這可能是近幾年體驗最爽的防禦工具。以前你想防 AI 爬蟲，既要折騰 robots.txt，又要花錢買高階防火牆規則，還防不住偽裝成正常瀏覽器的爬蟲；現在連免費版都能一鍵開啟，把防守成本直接降到了零。

從安全攻防的角度看，這一招聰明在扭轉了攻守雙方的經濟賬。過去爬蟲寫個指令碼成本極低，防守方分析日誌、買頻寬封禁成本極高；現在 Cloudflare 把生成假內容的邊際成本壓得極低，反過來逼著抓取方為了清洗這堆無用資料付出高昂的視訊記憶體、頻寬和清洗成本，屬於典型的四兩撥千斤。

不過我們認為，這種防禦手段能領先的時間視窗可能不會太長。隨著爬蟲越來越智慧化，具備上下文推理能力的高階 Agent 很快就能察覺出內容主題脫節，從而學會提前跳出迷宮。但至少在當下，這場用 AI 對抗 AI 的捉迷藏，Cloudflare 確實給行業開了一個很有意思的腦洞。