TollBit 曝光行业乱象：多家 AI 公司绕过 robots.txt 强行抓取网站

三十年来，互联网一直靠着一条不成文的君子协定运转。

网站在根目录下放一个 robots.txt 纯文本文件，写明哪些页面能抓、哪些不能抓。各大搜索引擎的爬虫走到门口，看一眼告示，该掉头就掉头。

但这套三十年的老规矩，在生成式 AI 面前好像快失效了。

敲门不应，直接翻墙

据路透社报道，内容授权初创公司 TollBit 最近在给多家出版商的信中透露，有多家 AI 公司的抓取工具正在直接绕过 robots.txt，强行抓取网站内容。

TollBit 在信里写道，他们分析的出版商服务器日志越多，这种现象就越普遍。绕过规则的不是单打独斗的个别开发者，而是来自多家公司的 AI 智能体。

与此同时，矛盾已经开始公开化。Forbes 不久前公开指责 AI 搜索公司 Perplexity，称其未经许可、也没有合规标注，就用 Forbes 的深度调查报道去生成 AI 摘要。Perplexity 对此没有做出回应。

robots.txt 诞生于 1990 年代中期，起初的设计目的很简单，就是防止爬虫过度频繁访问、把小网站的服务器拖垮。它在法律上没有任何强制约束力，完全依赖技术社区的自觉遵守。

但现在，AI 行业对训练数据和实时资讯的渴求，正在打破这种默契。

媒体的两难死局

对内容出版商来说，眼下的处境极其尴尬。

如果老老实实通过 robots.txt 封锁 AI 爬虫，往往会带来副作用。以 Google 为例，媒体如果想避开 Google 的 AI 生成摘要抓取，常常连带着在传统搜索结果里的曝光度也会受挫，直接损失流量。

更让人头疼的是，如果各家 AI 公司干脆装作看不见 robots.txt，出版商等于既搭上了曝光量，又没能防住内容被白嫖。

一些大型出版商比如《纽约时报》，已经选择走法律诉讼路线，以侵犯版权为由起诉 AI 公司；另一些媒体则选择妥协，主动坐下来谈判版权授权协议。

当然，披露这封信的 TollBit 本身也是个局内人。它自己的商业模式就是做内容中介，帮出版商监测 AI 流量、谈授权费。TollBit 声称截至 5 月已有 50 家网站接入其服务，但没有公开具体名单。

很多 AI 开发者的逻辑则完全相反，他们认为抓取公开网页并不违法，只要内容没有藏在付费墙后面，就不算侵权。

为什么重要

我们认为，这不仅仅是一份协议被破坏的技术问题，而是整个开放 Web 利益机制正在崩塌的信号。

对普通网站主和独立创作者来说，以往的交换逻辑非常简单：我让你抓取，你给我带回跳转链接和读者。但生成式 AI 和 AI 摘要直接给出了答案，用户不再点击原文。如果连 robots.txt 这一道防线都被绕过，普通网站在 AI 爬虫面前基本上就是在裸奔。

对行业而言，这场猫鼠游戏会逼着技术手段快速升级。单纯依赖自觉的文本协议显然不够用了，接下来出版商和平台可能会大面积部署 Cloudflare 等更激进的反爬网关，甚至把更多内容塞进付费墙和登录墙之后。

我们觉得 AI 公司的这种做法虽然短期能拿到数据，但隐患巨大。一旦把出版商逼到退无可退，除了引发更多像《纽约时报》那样的版权诉讼，还会把开放互联网变成一座座封闭的数据孤岛，最终反而会断绝未来优质训练数据的来源。