Cohere 開放維基百科向量歸檔：上億條多語言 Embedding 免費下載

如果你曾經想給海量維基百科文章做一個語義搜尋，肯定清楚那有多折騰：先抓取清洗幾百萬篇維基條目，把長文切碎成段落，再一一切換呼叫 Embedding 模型計算向量，不僅費時間，光算力或 API 賬單就能讓人肉疼。

Cohere 在 2023 年 4 月 20 日把這套苦力活全包了。他們推出了名為 The Embedding Archives 的開源向量歸檔，把維基百科直接轉成了大約 1 億條 Embedding 向量，全部免費向開發者開放下載。

把維基百科全切好，一行程式碼直接拉取

Cohere 這次放出的資料覆蓋了 10 種主要語言，包括中文、英語、德語、法語、西班牙語、義大利語、日語、阿拉伯語、韓語和印地語，甚至還貼心地包含了簡易英語。

處理流程做得很規範：模型團隊先把維基條目切分成段落，並在每段文字開頭附上所屬詞條的標題。隨後，他們用自家 multilingual-22-12 多語言模型處理每個段落，生成了一個 768 維的浮點數向量。

整套歸檔已經打包放到 Hugging Face Datasets。開發者只要用 datasets 庫寫一行 load_dataset，就能把對應的文本、向量陣列和後設資料一次性全拽到本地，省去了中間所有繁雜的預處理環節。

連下載都嫌麻煩？還有 1000 萬條線上現查

如果你的本地硬碟或顯示卡吃不下這麼大的資料集，Cohere 還聯合向量資料庫 Weaviate 準備了現成的線上方案。

Weaviate 直接公開託管了一個包含 1000 萬條向量的子集，剛好涵蓋上述 10 種語言，每種語言分得 100 萬條。開發者一行資料都不用下載，直接呼叫 API 就能對維基百科做語義查詢。

更有意思的是它的跨語言能力。因為底層多語言模型把不同語言對映到了同一個向量空間，就算你用英文輸入查詢像「時間旅行劇情反轉」這樣的概念，也能在多語言環境裡抓到意思相近的非英文內容，或者順手加一個語言引數直接過濾指定語種。

為什麼重要

對開發者和獨立團隊來說，這無疑是一份能省下真金白銀的大禮包。搭建語義搜尋或檢索增強系統時，大家往往把精力卡在資料清洗和向量化的高額開銷上，現在可以直接站在現成的 1 億條知識庫底座上做原型開發。

在商業策略上，Cohere 這一步走得相當精明。表面上看它是在開源社群做慈善，免費贈送算力成本極高的靜態向量，但只要開發者開始習慣使用這批 768 維的向量，後續即時檢索時就必須呼叫 Cohere 的多語言 Embed API，自然而然就成了它的付費客戶。

不過它的侷限也很明確：維基百科向量只是一次性提取的歷史快照，無法覆蓋之後的新聞和即時變化。如果你的業務對時效性要求極高，這批向量就只能充當基準測試和初始化參考。但無論如何，能省去冷啟動的高昂成本，對整個語言模型應用生態都是一件好事。