Anthropic 爬蟲狂掃 iFixit 近百萬次：無視禁止條款引眾怒

如果你問 Claude 能不能隨意抓取維權維修網站 iFixit 的資料用來訓練模型，它自己大機率會禮貌地回答你：不行，對方的服務條款明令禁止了。

但這套道德準則，顯然沒寫進 Anthropic 自家的爬蟲程式碼裡。

iFixit 執行長 Kyle Wiens 在社交平臺公開炮轟 Anthropic，指出該公司的網路爬蟲 ClaudeBot 在短短 24 小時內向 iFixit 伺服器發起了近百萬次訪問請求。這不僅可能違反了網站的服務條款，甚至直接拉響了運維警報。

爬蟲打架，運維遭殃

iFixit 是全球知名的裝置維修指南網站，日常處理的流量本身就非常大。Kyle Wiens 對 The Verge 表示，他們平時對各類網路爬蟲和機器人習以為常，伺服器也扛得住日常抓取，但 ClaudeBot 這次的抓取頻率高得異常，直接驚動了整個運維團隊。

iFixit 的服務條款明確寫著，未經事先書面許可，嚴禁複製或分發站內任何內容，其中更是單獨強調了不得用於機器學習或 AI 模型的訓練。

然而面對媒體 404 Media 的質詢，Anthropic 卻甩出一個 FAQ 頁面連結，聲稱要阻止他們的爬蟲，唯一的辦法就是在網站根目錄的 robots.txt 檔案裡明確配置規則。

Wiens 隨後表示，他們在 robots.txt 中加入了 crawl-delay 抓取延遲規則，從日誌來看，Anthropic 的爬蟲確實在規則生效後停止了狂轟濫炸。Anthropic 發言人 Jennifer Martinez 也回應稱，公司尊重 robots.txt 的訊號，iFixit 配置後爬蟲就照辦了。

捱揍的遠不止一家

iFixit 並不是唯一的受害者。在 Wiens 的帖子下面，文件託管平臺 Read the Docs 聯合創始人 Eric Holscher 以及外包平臺 Freelancer.com 執行長 Matt Barrie 紛紛留言，表示自己的網站最近同樣遭遇了 ClaudeBot 的瘋狂抓取。

這種激進的抓取行為也不是第一天發生。在 Reddit 上，早有數個月前的討論帖指出 Anthropic 爬蟲流量暴增；今年 4 月，Linux Mint 的官方論壇發生宕機，排查後發現罪魁禍首正是 ClaudeBot 帶來的負載過載。

雖然 OpenAI 等其他大模型廠商同樣將 robots.txt 視為退出抓取的標準手段，但這種機制本身極為粗糙，根本無法讓站長細緻區分哪些內容允許爬取、哪些不允許。更何況像 Perplexity 這樣的 AI 公司，此前甚至被曝光連 robots.txt 都徹底無視。

為什麼重要

對各類網站站長和開發者來說，這件事敲響了最直接的技術警鐘。如果你維護著一個內容網站，現在哪怕在使用者協議裡把禁止 AI 訓練寫得再嚴密，AI 公司的爬蟲大機率也視而不見，你必須立刻去檢查並配置好 robots.txt，否則不僅獨家內容可能被白嫖，自家的伺服器還可能被居高不下的抓取流量壓垮。

對整個行業而言，這件事徹底暴露了大模型軍備競賽背後的抓取失控。頭部廠商嘴上講著安全與倫理，實際上都在瘋狂爭搶高質量文本資料，甚至到了顧不上他人伺服器穩定性的地步。

我們認為，Anthropic 搬出 robots.txt 當擋箭牌看似符合網際網路既有慣例，但在邏輯上完全站不住腳。讓聊天機器人裝出懂規矩的樣子，底層的爬蟲卻在暗度陳倉，這種割裂暴露出其內部對版權與資源消耗的漠視。當高質量公開網頁越來越少，AI 廠商如果繼續採取這種近乎蠻橫的掃蕩式策略，只會加速逼迫更多內容平臺築起高牆，最終把網際網路推向徹底封閉的付費孤島。