ウィキメディアがAI向けベクトルDB公開：3000万件のデータを検索容易に

Wikipediaの姉妹プロジェクトであり、膨大な構造化データを蓄積するWikidataが、AI開発者向けに大きく舵を切りました。

Wikidataを管理するドイツのWikimedia Deutschlandは、過去1年をかけて3000万件のエントリを大規模言語モデルでベクトル化するプロジェクト「Wikidata Embedding Project」を立ち上げました。

3000万件のデータをベクトル化

これまでWikidataのデータは、JSONなどの形式で機械可読にはなっていたものの、複雑なグラフ構造を持ち、そのままAIモデルに読み込ませるには扱いにくい側面がありました。

ベルリンのチームは今回、Jina AIのモデルを活用し、2024年9月18日時点の3000万件のデータをベクトル化しました。WikidataポートフォリオリードのLydia Pintscher氏によると、データが点と線で結ばれたグラフのように整理され、作家の名前から「人間」や「著作」といった概念へと文脈を保ったままアクセスできるようになります。

ストレージのインフラ面では、IBM傘下のDataStaxがベクトルデータベースを無償提供しています。Wikipediaの画面自体がチャットボット化するわけではなく、バックエンドで外部の開発者が自作のAIモデルやチャットボットにWikidataの知識を組み込みやすくするのが目的です。

大手テックへの対抗とマイナー情報の保護

この取り組みの大きな狙いは、リソースが限られた小規模開発者の支援です。

OpenAIやAnthropicのような巨大テック企業は、自前の計算リソースでWikidataを丸ごとベクトル化できます。一方で個人開発者やスタートアップにはその余裕がありません。Pintscher氏は、そうした小規模なプレイヤーにチャンスを提供し、競争環境を平坦にしたいと語っています。

さらに、インターネット上の人気トピックばかりを学習しがちな既存のAIに対して、ボランティアが丁寧にまとめたニッチな情報や冷遇されがちな分野の知識をAIに反映させやすくする狙いもあります。

なぜ重要か

巨大テック企業によるデータの無断スクレイピングが問題視されるなか、Wikimedia側のこのアプローチは非常に合理的だと考えられます。

単にデータを公開して搾取されるのを待つのではなく、自らAIが最も利用しやすい「ベクトル」の形で提供することで、オープンな知識基盤としての主導権を握り直そうとしています。特に独立系開発者や研究者にとっては、3000万件もの検証済みデータを自前でエンベディングする莫大な計算コストを肩代わりしてもらえるため、試す価値が極めて高いリソースになります。

懸念されるのはデータの鮮度です。今回のデータセットは2024年9月時点のものであり、チームは開発者からのフィードバックを待って更新を行う方針です。プロジェクト側は軽微な修正ならベクトルの意味合いは大きく変わらないとしていますが、日々変化する最新情報を扱うAIアプリでどこまで実用性を保てるかは、今後の更新体制次第と言えます。