Cohere 开放维基百科向量归档：上亿条多语言 Embedding 免费下载

如果你曾经想给海量维基百科文章做一个语义搜索，肯定清楚那有多折腾：先抓取清洗几百万篇维基条目，把长文切碎成段落，再一一切换调用 Embedding 模型计算向量，不仅费时间，光算力或 API 账单就能让人肉疼。

Cohere 在 2023 年 4 月 20 日把这套苦力活全包了。他们推出了名为 The Embedding Archives 的开源向量归档，把维基百科直接转成了大约 1 亿条 Embedding 向量，全部免费向开发者开放下载。

把维基百科全切好，一行代码直接拉取

Cohere 这次放出的数据覆盖了 10 种主要语言，包括中文、英语、德语、法语、西班牙语、意大利语、日语、阿拉伯语、韩语和印地语，甚至还贴心地包含了简易英语。

处理流程做得很规范：模型团队先把维基条目切分成段落，并在每段文字开头附上所属词条的标题。随后，他们用自家 multilingual-22-12 多语言模型处理每个段落，生成了一个 768 维的浮点数向量。

整套归档已经打包放到 Hugging Face Datasets。开发者只要用 datasets 库写一行 load_dataset，就能把对应的文本、向量数组和元数据一次性全拽到本地，省去了中间所有繁杂的预处理环节。

连下载都嫌麻烦？还有 1000 万条在线现查

如果你的本地硬盘或显卡吃不下这么大的数据集，Cohere 还联合向量数据库 Weaviate 准备了现成的在线方案。

Weaviate 直接公开托管了一个包含 1000 万条向量的子集，刚好涵盖上述 10 种语言，每种语言分得 100 万条。开发者一行数据都不用下载，直接调用 API 就能对维基百科做语义查询。

更有意思的是它的跨语言能力。因为底层多语言模型把不同语言映射到了同一个向量空间，就算你用英文输入查询像「时间旅行剧情反转」这样的概念，也能在多语言环境里抓到意思相近的非英文内容，或者顺手加一个语言参数直接过滤指定语种。

为什么重要

对开发者和独立团队来说，这无疑是一份能省下真金白银的大礼包。搭建语义搜索或检索增强系统时，大家往往把精力卡在数据清洗和向量化的高额开销上，现在可以直接站在现成的 1 亿条知识库底座上做原型开发。

在商业策略上，Cohere 这一步走得相当精明。表面上看它是在开源社区做慈善，免费赠送算力成本极高的静态向量，但只要开发者开始习惯使用这批 768 维的向量，后续实时检索时就必须调用 Cohere 的多语言 Embed API，自然而然就成了它的付费客户。

不过它的局限也很明确：维基百科向量只是一次性提取的历史快照，无法覆盖之后的新闻和实时变化。如果你的业务对时效性要求极高，这批向量就只能充当基准测试和初始化参考。但无论如何，能省去冷启动的高昂成本，对整个语言模型应用生态都是一件好事。