Reddit 封锁搜索引擎与 AI 爬虫：不交钱不给抓，目前仅 Google 幸免

如果你习惯在搜索问题时顺手加个「Reddit」，以此绕过满屏的 AI 垃圾文章，那接下来你可能得换个地方搜了。

过去几周，不少人发现 Bing、DuckDuckGo 等搜索引擎里，Reddit 的新内容几乎凭空消失。据 404 Media 报道，Reddit 已经开始对各大爬虫下死手，主流搜索引擎里只剩 Google 还能搜出最新的帖子和讨论。

没交「买路钱」，连搜索摘要都不给看

测试发现，如果在 Bing、DuckDuckGo、Mojeek 或 Qwant 上用「site:reddit.com」搜索，最近一周的内容完全查不到。这些引擎只剩下老旧的历史网页，或者像 DuckDuckGo 那样，搜出几个链接却显示「网站不允许我们展示描述」。

唯一还能正常显示新结果的小众引擎是付费的 Kagi，但那是因为它的部分搜索索引本身就是花钱向 Google 买的。

这种近乎「全面拉黑」的做法，源于 Reddit 在 7 月 1 日对全站 robots.txt 文件的更新。Reddit 首席法务官 Ben Lee 表示，这是在给没有达成协议的公司发信号，提醒他们不该擅自碰 Reddit 的数据。

微软发言人 Caitlin Roulston 对此回应称，微软遵守 robots.txt 规范，既然 Reddit 要求不让其内容用于生成式 AI 模型，Bing 便在 7 月 1 日 Reddit 更新规则后停止了爬取。

6000 万美元协议背后的闭门造车

为什么偏偏放过 Google？外界普遍指向双方之前敲定的一笔价值 6000 万美元的协议，该协议允许 Google 使用 Reddit 的内容训练 AI 模型。

不过 Reddit 发言人 Tim Rathschmidt 否认了「偏袒」的说法。他表示这与 Google 的合作完全无关，Reddit 一直在和多家搜索引擎谈判，但没能和所有人达成一致，因为有些公司无法或不愿意做出有约束力的承诺，特别是在将内容用于 AI 方面。

独立搜索引擎 Mojeek 的首席执行官 Colin Hayhurst 显得非常无奈，他直言 Reddit 正在「扼杀除 Google 之外的所有搜索」。

过去一年里，为了在新投资者面前交出好看的财报，Reddit 不仅大幅提高了第三方开发者的 API 价格，甚至一度威胁如果不给钱就切断 Google 抓取。如今这套围墙越砌越高，昔日开放的公共讨论区，彻底成了待价而沽的数据资产。

为什么重要

对普通人来说，这直接砸了大家获取真实人类经验的快捷通道。在内容农场和 AI 幻觉泛滥的今天，「搜索词 + Reddit」几乎是很多人验证真实产品口碑的最后防线。现在这个防线被强制绑定在了 Google 身上，不管你喜不喜欢 Google，为了找真人回答都很难离开它。

对搜索生态而言，这种做法在客观上强化了 Google 的垄断地位。在反垄断监管收紧的当下，Google 靠着雄厚的财力直接买断了最稀缺的人类语料索引权，其他主打隐私或独立索引的搜索引擎根本无力跟进几千万美元的授权费，生存空间被进一步压缩。

我们认为，Reddit 这步棋虽然在商业变现上很精明，但隐患不小。它本质上是在拿社区用户的公开创作当筹码，强行把开放网络切割成一个个付费数据孤岛。一旦内容彻底无法被外部检索，新用户的自然流入就会变慢，长远来看，这可能会反噬社区本身的活力。