防 AI 公司借道抓取数据：Reddit 开始封禁网络档案馆

如果你想看一眼十年前某个 Reddit 帖子里大家在聊什么，以前直接打开互联网档案馆（Internet Archive）的 Wayback Machine 就能翻出来。但从现在开始，这条路基本被堵死了。

Reddit 宣布开始大幅限制 Internet Archive 的抓取权限。原因很直接：Reddit 发现有 AI 公司不老老实实从它这里买数据，而是跑到 Wayback Machine 的历史快照里「偷家」，绕道批量爬取 Reddit 的语料。

帖子和评论全不给看，只能看首页

按照 Reddit 发言人 Tim Rathschmidt 给 The Verge 的说法，这次限制会从今天开始逐步生效。限制的范围非常彻底，Wayback Machine 以后不能再抓取 Reddit 的帖子详情页、评论区以及用户个人主页。

留给档案馆的，只剩下 Reddit.com 的网站首页。换句话说，未来你只能在档案馆里看到某一天 Reddit 上什么新闻和话题最火，至于里面具体聊了什么，彻底变成了历史盲区。

Reddit 辩称这也是为了保护用户。发言人表示，除非档案馆能守住自己的网站，并且遵守 Reddit 的平台政策（比如保护用户隐私、同步删除那些已经被用户删掉的内容），否则为了保护 Redditor，只能限制其访问。Wayback Machine 负责人 Mark Graham 则表示，双方有着长期关系，目前正在就这件事保持沟通。

只要肯掏钱，数据就不是非卖品

明眼人都看得出来，Reddit 这一套组合拳已经打了很久。从 2023 年引发全站抗议的 API 大涨价，到后来直接封杀不给钱的主要搜索引擎，Reddit 给出的理由始终都是「防范 AI 公司滥用」。

但防范的前提，是对方没付钱。去年初，Reddit 先是和 Google 签下了涵盖搜索与 AI 训练数据的天价大单，后来又把数据卖给了 OpenAI。至于没谈拢或者被它抓到现行的，Reddit 下手一点都不软，今年 6 月它就起诉了 Anthropic，指控对方嘴上说不抓了，背后却还在偷爬。

对 Reddit 来说，整个社区十几年沉淀下来的人类真实问答和闲聊，就是 AI 时代最值钱的金矿。既然 Google 和 OpenAI 付了大价钱，Reddit 自然容不下任何可以免费白嫖的后门，哪怕这个后门是一家旨在记录人类数字文明的公益档案馆。

为什么重要

我们认为，Reddit 这次封杀切中了开源互联网最尴尬的一个痛点：公益基础设施正在被商业战争连坐。

对普通用户和研究人员来说，这是一次惨重的数字损失。以前遇到被删掉的热门讨论、争议事件或者删帖跑路的当事人，Wayback Machine 是最后的求证底牌。现在详情和评论全被切断，Reddit 上的数字历史实际上被平台完全私有化了，普通人想查阅过去的互联网记忆将变得极度困难。

从商业角度看，Reddit 的做法在逻辑上很聪明，甚至可以说狠辣。它把数据防线推到了极端，连非营利机构的公开缓存都不放过，彻底断了中小型 AI 团队「曲线救国」的念头，逼着所有人要么掏钱买正版授权，要么彻底放弃 Reddit 语料。这直接巩固了它跟 Google、OpenAI 之间的数据护城河。

但这里的隐患也显而易见。Reddit 打着「保护用户隐私」的旗号行商业变现之实，吃相未免过于难看。当所有平台都学 Reddit 把历史快照当成资产锁进保险箱，开放互联网赖以生存的公共记忆正在迅速消失，而这笔账最终却算在了 AI 狂热的头上。