Wikimedia 推出 AI 向量資料庫：將 3000 萬條維基資料轉為向量

如果你想讓 AI 知道《銀河系漫遊指南》作者道葛拉斯·亞當斯的生日，去翻維基百科就夠了。但如果你想讓 AI 搞清楚全球圖書館給他的統一編號，或者把他和「人類」「科幻小說」精準連線起來，就得深入維基媒體少有人知的資料底座：Wikidata。

大模型訓練通常把 Wikidata 當成免費礦場。但現在，維基媒體自己把礦石煉成了大模型最喜歡的形態。

負責運營 Wikidata 的德國維基媒體協會在柏林組建了一個團隊，耗時整整一年推出了「Wikidata Embedding Project」。他們用 Jina AI 的模型，把 Wikidata 截至 2024 年 9 月 18 日的 3000 萬個條目，統統轉成了語義向量。

把 3000 萬個詞條打散重構

傳統的 Wikidata 就像一個巨大的機器可讀表格，堆滿了 JSON 格式的鍵值對。機器查特定屬性很容易，但要是遇到模糊提問，傳統資料庫就抓瞎了。

這次做的事情，是把結構生硬的實體轉化成能表達上下文和含義的向量。Wikidata 業務負責人 Lydia Pintscher 打了個比方：向量化之後的資料像一張佈滿點和連線的圖譜，道葛拉斯·亞當斯會自然地連向「人類」，也會連向他寫過的所有書名。

這次改造完全在後臺，維基百科的前端不會變成聊天機器人。但 AI 開發者在做自己的對話系統或知識庫檢索時，能直接用語義搜尋呼叫這套向量庫。

目前，IBM 旗下的 DataStax 正在免費為該專案提供向量資料庫儲存基礎設施。整個資料庫包含了 3000 萬條資料，雖然目前還沒收錄過去一年的全新詞條，但專案經理 Philippe Saadé 解釋說，向量計算的是實體的全域性概念，現存條目的日常微小修改不會影響整體實用性。

幫小團隊把冷門知識塞進 AI

大廠如 OpenAI 和 Anthropic，早就有算力和錢把 Wikidata 自己向量化一遍。但獨立開發者和初創團隊根本掏不起這筆成本。

Lydia Pintscher 直言，做這個專案的初衷就是為了拉平大廠與小開發者之間的門檻，給沒錢的團隊一個機會。她提到一個叫 Govdirectory 的公益專案，就是利用志願者整理的 Wikidata 資料，幫大家查詢全球公職人員的社交賬號和郵箱。

更現實的問題是，現在的聊天機器人大部分注意力都被網上的熱門話題吃滿了。維基媒體希望，有了這套現成的向量庫，開發者能更容易把那些網上沒人討論的冷門知識餵給 AI。

用 Pintscher 的話說，這比在網上拼命發內容、然後祈禱 ChatGPT 下次重訓時能碰巧抓到你，要靠譜得多。

為什麼重要

我們認為，這是維基媒體走得極聰明的一步棋。

與其眼睜睜看著大科技公司把自己的開放資料颳走、訓練成封閉的商業模型，不如主動把資料打包成大模型開箱即用的「預製菜」。這樣做不僅搶佔了 AI 時代知識基礎設施的生態位，還順便用免費分發把開源社群和小開發者綁在了一起。

對開發者和獨立團隊來說，這幾乎是天上掉餡餅。只要你在做特定領域的知識檢索或嚴肅的事實問答，現在直接省去了資料清洗、建模和向量化的高昂開銷，調取經過志願者嚴格驗證的開源高質量資料變得前所未有的容易。

不過隱患也肉眼可見。知識是即時流動的，這套向量庫目前的資料截止在 2024 年 9 月，後續團隊還在等開發者反饋才決定怎麼更新增量。一旦資料更新週期跟不上真實世界的變化，它在時效性要求高的場景裡就會被冷落。