Reddit 封鎖搜尋引擎與 AI 爬蟲：不交錢不給抓，目前僅 Google 倖免

如果你習慣在搜尋問題時順手加個「Reddit」，以此繞過滿屏的 AI 垃圾文章，那接下來你可能得換個地方搜了。

過去幾週，不少人發現 Bing、DuckDuckGo 等搜尋引擎裡，Reddit 的新內容幾乎憑空消失。據 404 Media 報道，Reddit 已經開始對各大爬蟲下死手，主流搜尋引擎裡只剩 Google 還能搜出最新的帖子和討論。

沒交「買路錢」，連搜尋摘要都不給看

測試發現，如果在 Bing、DuckDuckGo、Mojeek 或 Qwant 上用「site:reddit.com」搜尋，最近一週的內容完全查不到。這些引擎只剩下老舊的歷史網頁，或者像 DuckDuckGo 那樣，搜出幾個連結卻顯示「網站不允許我們展示描述」。

唯一還能正常顯示新結果的小眾引擎是付費的 Kagi，但那是因為它的部分搜尋索引本身就是花錢向 Google 買的。

這種近乎「全面拉黑」的做法，源於 Reddit 在 7 月 1 日對全站 robots.txt 檔案的更新。Reddit 首席法務官 Ben Lee 表示，這是在給沒有達成協議的公司發訊號，提醒他們不該擅自碰 Reddit 的資料。

微軟發言人 Caitlin Roulston 對此回應稱，微軟遵守 robots.txt 規範，既然 Reddit 要求不讓其內容用於生成式 AI 模型，Bing 便在 7 月 1 日 Reddit 更新規則後停止了爬取。

6000 萬美元協議背後的閉門造車

為什麼偏偏放過 Google？外界普遍指向雙方之前敲定的一筆價值 6000 萬美元的協議，該協議允許 Google 使用 Reddit 的內容訓練 AI 模型。

不過 Reddit 發言人 Tim Rathschmidt 否認了「偏袒」的說法。他表示這與 Google 的合作完全無關，Reddit 一直在和多家搜尋引擎談判，但沒能和所有人達成一致，因為有些公司無法或不願意做出有約束力的承諾，特別是在將內容用於 AI 方面。

獨立搜尋引擎 Mojeek 的執行長 Colin Hayhurst 顯得非常無奈，他直言 Reddit 正在「扼殺除 Google 之外的所有搜尋」。

過去一年裡，為了在新投資者面前交出好看的財報，Reddit 不僅大幅提高了第三方開發者的 API 價格，甚至一度威脅如果不給錢就切斷 Google 抓取。如今這套圍牆越砌越高，昔日開放的公共討論區，徹底成了待價而沽的資料資產。

為什麼重要

對普通人來說，這直接砸了大家獲取真實人類經驗的快捷通道。在內容農場和 AI 幻覺氾濫的今天，「搜尋詞 + Reddit」幾乎是很多人驗證真實產品口碑的最後防線。現在這個防線被強制繫結在了 Google 身上，不管你喜不喜歡 Google，為了找真人回答都很難離開它。

對搜尋生態而言，這種做法在客觀上強化了 Google 的壟斷地位。在反壟斷監管收緊的當下，Google 靠著雄厚的財力直接買斷了最稀缺的人類語料索引權，其他主打隱私或獨立索引的搜尋引擎根本無力跟進幾千萬美元的授權費，生存空間被進一步壓縮。

我們認為，Reddit 這步棋雖然在商業變現上很精明，但隱患不小。它本質上是在拿社群使用者的公開創作當籌碼，強行把開放網路切割成一個個付費資料孤島。一旦內容徹底無法被外部檢索，新使用者的自然流入就會變慢，長遠來看，這可能會反噬社群本身的活力。