维基媒体在 Kaggle 上线数据集：别爬站了，直接下结构化 JSON

各大 AI 厂商为了训大模型，几乎天天都在全网扫货，而维基百科向来是爬虫们最喜欢的固定票仓。结果就是，维基百科的服务器被各路抓取工具挤得苦不堪言。

面对这种野蛮薅羊毛，维基百科背后的组织索性换了个思路：既然拦不住你们，不如由我直接洗好打包送给你。

维基媒体基金会宣布在 Google 旗下的数据科学社区 Kaggle 上线专为 AI 训练打造的维基百科数据集，从 4 月 15 日起开放下载。这一举动的直接目的，就是劝阻各家大模型开发者继续去网页端强行爬取内容。

把百科拆成即插即用的零件

以往开发者抓取维基百科，拿到的是乱糟糟的网页源码，还得花大量力气去清洗、解析，不仅浪费算力，爬虫流量还给维基媒体的服务器带来了巨大的性能负担和运营成本。

这次维基媒体基金会直接把文章整理成了结构整齐的 JSON 格式。数据集里包含了词条摘要、简短描述、信息框的键值对数据、图片链接以及切好段落的正文章节。

为了让数据更适合自然语言处理，官方特意剔除了参考资料，以及图片、图表本身等非文本元素。

在版权方面，这套数据集依然继承了维基百科一贯的开放属性，遵循知识共享（Creative Commons）和 GNU 自由文档许可证（GFDL），允许开发者自由分享、修改和重组内容。

Kaggle 合作伙伴负责人 Brenda Flynn 表示，Kaggle 本身就是大家找数据集的首选平台，而在上面托管的开放数据集中，很少有比维基媒体基金会更具影响力的。

目前 Kaggle 已经拥有超过 46.1 万个免费机器学习数据集，从糖尿病、癌症等医疗数据，到信用卡欺诈、UFO 目击记录应有尽有。维基百科的加入显然是其中分量最重的一笔。

这次上线的是早期测试版本，目前只提供了英语和法语两个语言版本，Kaggle 社区正面向开发者征求使用反馈。

为什么重要

对开发者和中小团队来说，这省去了最耗时、最痛苦的爬虫和数据清洗流程。你不用再去对付反爬机制，也不用自己写脚本剔除网页杂质，直接拿现成的结构化 JSON 就能做 NLP 管道测试或微调模型。不过目前它还只是测试版，仅限英法双语，想做其他小语种训练的开发者还得等等。

从行业角度看，这是内容平台应对生成式 AI 时代一次非常聪明的防守反击。很多内容社区面对 AI 爬虫要么完全摆烂，要么选择起诉或全面封锁。维基媒体基金会没有把门焊死，而是采取了疏导策略，把庞大的爬虫流量引流到 Kaggle 托管的标准化管道。

我们认为这种做法兼顾了公共机构的现实利益与开源理想。一方面它保护了自家服务器免受无休止的野蛮冲击，降低了带宽成本；另一方面也守住了让知识自由流通的初心。当然潜在的隐患是，那些需要全量最新数据或长尾小语种的爬虫可能依然会继续抓取网页，但至少在主流大模型基座训练上，这套官方管道能分流掉很大一部分无序消耗。