Wikimedia 共享資源頻寬激增 50%：全是 AI 爬蟲在挖冷門素材

維基百科的伺服器原本是用來扛人類突發大事件的，比如某位名人去世或者發生全球大新聞時湧入的讀者。但現在，把它伺服器頻寬擠爆的不是求知若渴的人類，而是嗷嗷待哺的 AI 爬蟲。

維基媒體基金會（Wikimedia Foundation）近日公開表示，自 2024 年 1 月以來，旗下開放多媒體庫 Wikimedia Commons 的多媒體下載頻寬消耗暴漲了整整 50%。這後面絕大部分是各家科技公司用來訓練 AI 模型的抓取指令碼。

專挑冷門資源挖，把伺服器逼進核心機房

很多人以為爬蟲多也就是多佔點頻寬，但維基媒體披露的一組對比數字揭示了更殘酷的現實。

從訪問量看，爬蟲帶來的頁面瀏覽量只佔總數的 35%。但如果看那些最消耗資源、成本最貴的流量，爬蟲的佔比直接飆到了近三分之二，也就是 65%。

為什麼會產生這麼大的反差？說白了，人類看維基通常扎堆在熱門詞條上，這些內容早就儲存在離使用者最近的邊緣快取裡，調取成本非常低。

AI 爬蟲完全是另一種做派。它們為了餵飽多模態模型，往往會無差別地海量掃蕩，專挑那些常年沒人看的冷門圖片和冷門網頁抓。

這些冷門資源快取里根本沒有，每次抓取都得直接穿透到底層，讓核心資料中心硬抗。這種調取極其昂貴，不僅帶來龐大的雲服務賬單，還逼得維基媒體的系統可靠性團隊（SRE）每天把大把時間和精力耗在攔截爬蟲上，只為了不讓普通人類讀者的訪問崩潰。

視規則如無物，逼得開源圈和站長反擊

維基媒體的遭遇絕對不是個例，整個開放網際網路都在被這股抽水式的抓取潮抽乾。

開源倡導者 Drew DeVault 上個月就公開抱怨，現在的 AI 爬蟲根本不在乎什麼 robots.txt，哪怕站長寫明瞭不讓爬，對方照樣大搖大擺破門而入。

知名技術博主 Gergely Orosz 也在前不久吐槽，來自 Meta 等巨頭的 AI 爬蟲把他在個人專案裡的頻寬消耗給打爆了。

很多開發者被逼得開始各出奇招進行防禦。比如 Cloudflare 最近就上線了 AI Labyrinth，故意用 AI 生成的無限迷宮內容去拖死爬蟲。

但這終究是一場不對稱的貓鼠遊戲。小網站和公益平臺防不勝防，維基媒體 Commons 裡存放的全是公有領域或開放協議的音影片圖片，如今卻成了 AI 廠商免費且無底線的素材礦場。

為什麼重要

我們認為，AI 爬蟲無視規則的暴力掃網，正在從根基上摧毀開放網際網路的存在邏輯。

對於維基媒體基金會這樣依賴公眾捐款運作的非營利機構來說，頻寬費用是實打實的真金白銀。AI 巨頭們拿著維基的資料去訓練商業模型、賺取數以億計的訂閱費，卻把高達 50% 的額外頻寬成本和運維壓力全甩給了公益基金會，這在商業道德上完全說不通。

這種局面如果繼續惡化，看起來會把整個網際網路推向一個壞結果：迫使原本免費開放的站點紛紛套上 Cloudflare 的重度驗證盾牌，甚至把內容藏到登入和付費牆後面。

對普通使用者而言，以後在網上隨手查閱資料、尋找一張免版稅圖片可能會變得異常繁瑣，到處都是人機驗證。而對行業來說，巨頭們如果只想白嫖生態卻不給基礎設施輸血，最終可能會把養活自己的開放資料來源徹底封死。