Anthropic 爬蟲狂掃 iFixit 近百萬次:無視禁止條款引眾怒
iFixit 執行長公開指責 Anthropic 的爬蟲 ClaudeBot 在 24 小時內狂刷其網站近百萬次,涉嫌違反禁止抓取用於 AI 訓練的服務條款。Anthropic 回應稱爬蟲只識別 robots.txt 協議。這凸顯了網站條款無法約束爬蟲、只能靠粗暴斷聯的尷尬現狀。
iFixit 執行長公開指責 Anthropic 的爬蟲 ClaudeBot 在 24 小時內狂刷其網站近百萬次,涉嫌違反禁止抓取用於 AI 訓練的服務條款。Anthropic 回應稱爬蟲只識別 robots.txt 協議。這凸顯了網站條款無法約束爬蟲、只能靠粗暴斷聯的尷尬現狀。
Cloudflare 上線一鍵攔截所有 AI 爬蟲的功能,面向包含免費版在內的所有使用者開放。它不僅攔截遵守 robots.txt 的合規爬蟲,還會用機器學習識別偽裝成真實瀏覽器的惡意抓取。也就是說,站長無需再費心配規則,就能防住拿自家內容喂模型的 AI。