Anthropic 爬虫狂扫 iFixit 近百万次：无视禁止条款引众怒

如果你问 Claude 能不能随意抓取维权维修网站 iFixit 的数据用来训练模型，它自己大概率会礼貌地回答你：不行，对方的服务条款明令禁止了。

但这套道德准则，显然没写进 Anthropic 自家的爬虫代码里。

iFixit 首席执行官 Kyle Wiens 在社交平台公开炮轰 Anthropic，指出该公司的网络爬虫 ClaudeBot 在短短 24 小时内向 iFixit 服务器发起了近百万次访问请求。这不仅可能违反了网站的服务条款，甚至直接拉响了运维警报。

爬虫打架，运维遭殃

iFixit 是全球知名的设备维修指南网站，日常处理的流量本身就非常大。Kyle Wiens 对 The Verge 表示，他们平时对各类网络爬虫和机器人习以为常，服务器也扛得住日常抓取，但 ClaudeBot 这次的抓取频率高得异常，直接惊动了整个运维团队。

iFixit 的服务条款明确写着，未经事先书面许可，严禁复制或分发站内任何内容，其中更是单独强调了不得用于机器学习或 AI 模型的训练。

然而面对媒体 404 Media 的质询，Anthropic 却甩出一个 FAQ 页面链接，声称要阻止他们的爬虫，唯一的办法就是在网站根目录的 robots.txt 文件里明确配置规则。

Wiens 随后表示，他们在 robots.txt 中加入了 crawl-delay 抓取延迟规则，从日志来看，Anthropic 的爬虫确实在规则生效后停止了狂轰滥炸。Anthropic 发言人 Jennifer Martinez 也回应称，公司尊重 robots.txt 的信号，iFixit 配置后爬虫就照办了。

挨揍的远不止一家

iFixit 并不是唯一的受害者。在 Wiens 的帖子下面，文档托管平台 Read the Docs 联合创始人 Eric Holscher 以及外包平台 Freelancer.com 首席执行官 Matt Barrie 纷纷留言，表示自己的网站最近同样遭遇了 ClaudeBot 的疯狂抓取。

这种激进的抓取行为也不是第一天发生。在 Reddit 上，早有数个月前的讨论帖指出 Anthropic 爬虫流量暴增；今年 4 月，Linux Mint 的官方论坛发生宕机，排查后发现罪魁祸首正是 ClaudeBot 带来的负载过载。

虽然 OpenAI 等其他大模型厂商同样将 robots.txt 视为退出抓取的标准手段，但这种机制本身极为粗糙，根本无法让站长细致区分哪些内容允许爬取、哪些不允许。更何况像 Perplexity 这样的 AI 公司，此前甚至被曝光连 robots.txt 都彻底无视。

为什么重要

对各类网站站长和开发者来说，这件事敲响了最直接的技术警钟。如果你维护着一个内容网站，现在哪怕在用户协议里把禁止 AI 训练写得再严密，AI 公司的爬虫大概率也视而不见，你必须立刻去检查并配置好 robots.txt，否则不仅独家内容可能被白嫖，自家的服务器还可能被居高不下的抓取流量压垮。

对整个行业而言，这件事彻底暴露了大模型军备竞赛背后的抓取失控。头部厂商嘴上讲着安全与伦理，实际上都在疯狂争抢高质量文本数据，甚至到了顾不上他人服务器稳定性的地步。

我们认为，Anthropic 搬出 robots.txt 当挡箭牌看似符合互联网既有惯例，但在逻辑上完全站不住脚。让聊天机器人装出懂规矩的样子，底层的爬虫却在暗度陈仓，这种割裂暴露出其内部对版权与资源消耗的漠视。当高质量公开网页越来越少，AI 厂商如果继续采取这种近乎蛮横的扫荡式策略，只会加速逼迫更多内容平台筑起高墙，最终把互联网推向彻底封闭的付费孤岛。