維基媒體在 Kaggle 上線資料集：別爬站了，直接下結構化 JSON

各大 AI 廠商為了訓大模型，幾乎天天都在全網掃貨，而維基百科向來是爬蟲們最喜歡的固定票倉。結果就是，維基百科的伺服器被各路抓取工具擠得苦不堪言。

面對這種野蠻薅羊毛，維基百科背後的組織索性換了個思路：既然攔不住你們，不如由我直接洗好打包送給你。

維基媒體基金會宣佈在 Google 旗下的資料科學社群 Kaggle 上線專為 AI 訓練打造的維基百科資料集，從 4 月 15 日起開放下載。這一舉動的直接目的，就是勸阻各家大模型開發者繼續去網頁端強行爬取內容。

把百科拆成即插即用的零件

以往開發者抓取維基百科，拿到的是亂糟糟的網頁原始碼，還得花大量力氣去清洗、解析，不僅浪費算力，爬蟲流量還給維基媒體的伺服器帶來了巨大的效能負擔和運營成本。

這次維基媒體基金會直接把文章整理成了結構整齊的 JSON 格式。資料集裡包含了詞條摘要、簡短描述、資訊框的鍵值對資料、圖片連結以及切好段落的正文章節。

為了讓資料更適合自然語言處理，官方特意剔除了參考資料，以及圖片、圖表本身等非文本元素。

在版權方面，這套資料集依然繼承了維基百科一貫的開放屬性，遵循知識共享（Creative Commons）和 GNU 自由文件許可證（GFDL），允許開發者自由分享、修改和重組內容。

Kaggle 合作伙伴負責人 Brenda Flynn 表示，Kaggle 本身就是大家找資料集的首選平臺，而在上面託管的開放資料集中，很少有比維基媒體基金會更具影響力的。

目前 Kaggle 已經擁有超過 46.1 萬個免費機器學習資料集，從糖尿病、癌症等醫療資料，到信用卡欺詐、UFO 目擊記錄應有盡有。維基百科的加入顯然是其中分量最重的一筆。

這次上線的是早期測試版本，目前只提供了英語和法語兩個語言版本，Kaggle 社群正面向開發者徵求使用反饋。

為什麼重要

對開發者和中小團隊來說，這省去了最耗時、最痛苦的爬蟲和資料清洗流程。你不用再去對付反爬機制，也不用自己寫指令碼剔除網頁雜質，直接拿現成的結構化 JSON 就能做 NLP 管道測試或微調模型。不過目前它還只是測試版，僅限英法雙語，想做其他小語種訓練的開發者還得等等。

從行業角度看，這是內容平臺應對生成式 AI 時代一次非常聰明的防守反擊。很多內容社群面對 AI 爬蟲要麼完全擺爛，要麼選擇起訴或全面封鎖。維基媒體基金會沒有把門焊死，而是採取了疏導策略，把龐大的爬蟲流量引流到 Kaggle 託管的標準化管道。

我們認為這種做法兼顧了公共機構的現實利益與開源理想。一方面它保護了自家伺服器免受無休止的野蠻衝擊，降低了頻寬成本；另一方面也守住了讓知識自由流通的初心。當然潛在的隱患是，那些需要全量最新資料或長尾小語種的爬蟲可能依然會繼續抓取網頁，但至少在主流大模型基座訓練上，這套官方管道能分流掉很大一部分無序消耗。