Wikimedia 推出 AI 向量数据库：将 3000 万条维基数据转为向量

如果你想让 AI 知道《银河系漫游指南》作者道格拉斯·亚当斯的生日，去翻维基百科就够了。但如果你想让 AI 搞清楚全球图书馆给他的统一编号，或者把他和「人类」「科幻小说」精准连接起来，就得深入维基媒体少有人知的数据底座：Wikidata。

大模型训练通常把 Wikidata 当成免费矿场。但现在，维基媒体自己把矿石炼成了大模型最喜欢的形态。

负责运营 Wikidata 的德国维基媒体协会在柏林组建了一个团队，耗时整整一年推出了「Wikidata Embedding Project」。他们用 Jina AI 的模型，把 Wikidata 截至 2024 年 9 月 18 日的 3000 万个条目，统统转成了语义向量。

把 3000 万个词条打散重构

传统的 Wikidata 就像一个巨大的机器可读表格，堆满了 JSON 格式的键值对。机器查特定属性很容易，但要是遇到模糊提问，传统数据库就抓瞎了。

这次做的事情，是把结构生硬的实体转化成能表达上下文和含义的向量。Wikidata 业务负责人 Lydia Pintscher 打了个比方：向量化之后的数据像一张布满点和连线的图谱，道格拉斯·亚当斯会自然地连向「人类」，也会连向他写过的所有书名。

这次改造完全在后台，维基百科的前端不会变成聊天机器人。但 AI 开发者在做自己的对话系统或知识库检索时，能直接用语义搜索调用这套向量库。

目前，IBM 旗下的 DataStax 正在免费为该项目提供向量数据库存储基础设施。整个数据库包含了 3000 万条数据，虽然目前还没收录过去一年的全新词条，但项目经理 Philippe Saadé 解释说，向量计算的是实体的全局概念，现存条目的日常微小修改不会影响整体实用性。

帮小团队把冷门知识塞进 AI

大厂如 OpenAI 和 Anthropic，早就有算力和钱把 Wikidata 自己向量化一遍。但独立开发者和初创团队根本掏不起这笔成本。

Lydia Pintscher 直言，做这个项目的初衷就是为了拉平大厂与小开发者之间的门槛，给没钱的团队一个机会。她提到一个叫 Govdirectory 的公益项目，就是利用志愿者整理的 Wikidata 数据，帮大家查找全球公职人员的社交账号和邮箱。

更现实的问题是，现在的聊天机器人大部分注意力都被网上的热门话题吃满了。维基媒体希望，有了这套现成的向量库，开发者能更容易把那些网上没人讨论的冷门知识喂给 AI。

用 Pintscher 的话说，这比在网上拼命发内容、然后祈祷 ChatGPT 下次重训时能碰巧抓到你，要靠谱得多。

为什么重要

我们认为，这是维基媒体走得极聪明的一步棋。

与其眼睁睁看着大科技公司把自己的开放数据刮走、训练成封闭的商业模型，不如主动把数据打包成大模型开箱即用的「预制菜」。这样做不仅抢占了 AI 时代知识基础设施的生态位，还顺便用免费分发把开源社区和小开发者绑在了一起。

对开发者和独立团队来说，这几乎是天上掉馅饼。只要你在做特定领域的知识检索或严肃的事实问答，现在直接省去了数据清洗、建模和向量化的高昂开销，调取经过志愿者严格验证的开源高质量数据变得前所未有的容易。

不过隐患也肉眼可见。知识是实时流动的，这套向量库目前的数据截止在 2024 年 9 月，后续团队还在等开发者反馈才决定怎么更新增量。一旦数据更新周期跟不上真实世界的变化，它在时效性要求高的场景里就会被冷落。