防 AI 公司借道抓取資料：Reddit 開始封禁網路檔案館

如果你想看一眼十年前某個 Reddit 帖子裡大家在聊什麼，以前直接開啟網際網路檔案館（Internet Archive）的 Wayback Machine 就能翻出來。但從現在開始，這條路基本被堵死了。

Reddit 宣佈開始大幅限制 Internet Archive 的抓取許可權。原因很直接：Reddit 發現有 AI 公司不老老實實從它這裡買資料，而是跑到 Wayback Machine 的歷史快照裡「偷家」，繞道批次爬取 Reddit 的語料。

帖子和評論全不給看，只能看首頁

按照 Reddit 發言人 Tim Rathschmidt 給 The Verge 的說法，這次限制會從今天開始逐步生效。限制的範圍非常徹底，Wayback Machine 以後不能再抓取 Reddit 的帖子詳情頁、評論區以及使用者個人主頁。

留給檔案館的，只剩下 Reddit.com 的網站首頁。換句話說，未來你只能在檔案館裡看到某一天 Reddit 上什麼新聞和話題最火，至於裡面具體聊了什麼，徹底變成了歷史盲區。

Reddit 辯稱這也是為了保護使用者。發言人表示，除非檔案館能守住自己的網站，並且遵守 Reddit 的平臺政策（比如保護使用者隱私、同步刪除那些已經被使用者刪掉的內容），否則為了保護 Redditor，只能限制其訪問。Wayback Machine 負責人 Mark Graham 則表示，雙方有著長期關係，目前正在就這件事保持溝通。

只要肯掏錢，資料就不是非賣品

明眼人都看得出來，Reddit 這一套組合拳已經打了很久。從 2023 年引發全站抗議的 API 大漲價，到後來直接封殺不給錢的主要搜尋引擎，Reddit 給出的理由始終都是「防範 AI 公司濫用」。

但防範的前提，是對方沒付錢。去年初，Reddit 先是和 Google 簽下了涵蓋搜尋與 AI 訓練資料的天價大單，後來又把資料賣給了 OpenAI。至於沒談攏或者被它抓到現行的，Reddit 下手一點都不軟，今年 6 月它就起訴了 Anthropic，指控對方嘴上說不抓了，背後卻還在偷爬。

對 Reddit 來說，整個社群十幾年沉澱下來的人類真實問答和閒聊，就是 AI 時代最值錢的金礦。既然 Google 和 OpenAI 付了大價錢，Reddit 自然容不下任何可以免費白嫖的後門，哪怕這個後門是一家旨在記錄人類數字文明的公益檔案館。

為什麼重要

我們認為，Reddit 這次封殺切中了開源網際網路最尷尬的一個痛點：公益基礎設施正在被商業戰爭連坐。

對普通使用者和研究人員來說，這是一次慘重的數字損失。以前遇到被刪掉的熱門討論、爭議事件或者刪帖跑路的當事人，Wayback Machine 是最後的求證底牌。現在詳情和評論全被切斷，Reddit 上的數字歷史實際上被平臺完全私有化了，普通人想查閱過去的網際網路記憶將變得極度困難。

從商業角度看，Reddit 的做法在邏輯上很聰明，甚至可以說狠辣。它把資料防線推到了極端，連非營利機構的公開快取都不放過，徹底斷了中小型 AI 團隊「曲線救國」的念頭，逼著所有人要麼掏錢買正版授權，要麼徹底放棄 Reddit 語料。這直接鞏固了它跟 Google、OpenAI 之間的資料護城河。

但這裡的隱患也顯而易見。Reddit 打著「保護使用者隱私」的旗號行商業變現之實，吃相未免過於難看。當所有平臺都學 Reddit 把歷史快照當成資產鎖進保險箱，開放網際網路賴以生存的公共記憶正在迅速消失，而這筆賬最終卻算在了 AI 狂熱的頭上。