TollBit 曝光行業亂象：多家 AI 公司繞過 robots.txt 強行抓取網站

三十年來，網際網路一直靠著一條不成文的君子協定運轉。

網站在根目錄下放一個 robots.txt 純文本檔案，寫明哪些頁面能抓、哪些不能抓。各大搜索引擎的爬蟲走到門口，看一眼告示，該掉頭就掉頭。

但這套三十年的老規矩，在生成式 AI 面前好像快失效了。

敲門不應，直接翻牆

據路透社報道，內容授權初創公司 TollBit 最近在給多家出版商的信中透露，有多家 AI 公司的抓取工具正在直接繞過 robots.txt，強行抓取網站內容。

TollBit 在信裡寫道，他們分析的出版商伺服器日誌越多，這種現象就越普遍。繞過規則的不是單打獨鬥的個別開發者，而是來自多家公司的 AI 智慧體。

與此同時，矛盾已經開始公開化。Forbes 不久前公開指責 AI 搜尋公司 Perplexity，稱其未經許可、也沒有合規標註，就用 Forbes 的深度調查報道去生成 AI 摘要。Perplexity 對此沒有做出回應。

robots.txt 誕生於 1990 年代中期，起初的設計目的很簡單，就是防止爬蟲過度頻繁訪問、把小網站的伺服器拖垮。它在法律上沒有任何強制約束力，完全依賴技術社群的自覺遵守。

但現在，AI 行業對訓練資料和即時資訊的渴求，正在打破這種默契。

媒體的兩難死局

對內容出版商來說，眼下的處境極其尷尬。

如果老老實實通過 robots.txt 封鎖 AI 爬蟲，往往會帶來副作用。以 Google 為例，媒體如果想避開 Google 的 AI 生成摘要抓取，常常連帶著在傳統搜尋結果裡的曝光度也會受挫，直接損失流量。

更讓人頭疼的是，如果各家 AI 公司乾脆裝作看不見 robots.txt，出版商等於既搭上了曝光量，又沒能防住內容被白嫖。

一些大型出版商比如《紐約時報》，已經選擇走法律訴訟路線，以侵犯版權為由起訴 AI 公司；另一些媒體則選擇妥協，主動坐下來談判版權授權協議。

當然，披露這封信的 TollBit 本身也是個局內人。它自己的商業模式就是做內容中介，幫出版商監測 AI 流量、談授權費。TollBit 聲稱截至 5 月已有 50 家網站接入其服務，但沒有公開具體名單。

很多 AI 開發者的邏輯則完全相反，他們認為抓取公開網頁並不違法，只要內容沒有藏在付費牆後面，就不算侵權。

為什麼重要

我們認為，這不僅僅是一份協議被破壞的技術問題，而是整個開放 Web 利益機制正在崩塌的訊號。

對普通網站主和獨立創作者來說，以往的交換邏輯非常簡單：我讓你抓取，你給我帶回跳轉連結和讀者。但生成式 AI 和 AI 摘要直接給出了答案，使用者不再點選原文。如果連 robots.txt 這一道防線都被繞過，普通網站在 AI 爬蟲面前基本上就是在裸奔。

對行業而言，這場貓鼠遊戲會逼著技術手段快速升級。單純依賴自覺的文本協議顯然不夠用了，接下來出版商和平臺可能會大面積部署 Cloudflare 等更激進的反爬閘道器，甚至把更多內容塞進付費牆和登入牆之後。

我們覺得 AI 公司的這種做法雖然短期能拿到資料，但隱患巨大。一旦把出版商逼到退無可退，除了引發更多像《紐約時報》那樣的版權訴訟，還會把開放網際網路變成一座座封閉的資料孤島，最終反而會斷絕未來優質訓練資料的來源。