Cohere、Wikipedia記事の埋め込みベクトル約1億件を無料公開　10言語対応

Wikipediaの膨大な記事を対象にセマンティック検索を作ろうとすると、気の遠くなるような前処理が待っています。数百万件の記事を収集して適切な長さに分割し、モデルを回してベクトル化するだけでも、膨大な計算時間とAPI費用がかかります。

Cohereは2023年4月20日、この面倒な作業を丸ごと肩代わりするデータセット「The Embedding Archives」を公開しました。Wikipediaの記事をベクトル化した約1億件の多言語Embeddingデータを、誰でも無料でダウンロードできるように開放しています。

10言語のWikipediaを768次元ベクトル化

今回提供されたデータセットは、日本語、英語、ドイツ語、フランス語、スペイン語、イタリア語、アラビア語、中国語、韓国語、ヒンディー語の10言語に加え、Simple Englishにも対応しています。

各記事は扱いやすいパッセージ単位に分割され、記事タイトルを先頭に付与した上で、Cohereの多言語モデル「multilingual-22-12」によって768次元の浮点数配列へと変換されています。

データはHugging Face Datasets上に配備されており、Pythonライブラリからコード1行でテキスト本文、埋め込みベクトル、メタデータをまとめて取得できます。前処理パイプラインを自前で組む必要は一切ありません。

Weaviate上で1000万件を即座に試せる環境も

手元のマシンに巨大なベクトルデータを丸ごと落としたくない開発者向けに、オンラインで直接叩ける環境も用意されています。

ベクトルデータベースのWeaviateが、10言語から各100万件を抽出した計1000万件のサブセットをパブリックにホストしています。ダウンロードやインデックス構築を行わなくても、API越しに直接セマンティック検索を実行できます。

多言語モデル特有のクロスリンガル性能も活きています。意味空間が言語横断で共有されているため、ある言語で投げた概念検索が他言語の関連記事とマッチしたり、検索言語を指定して絞り込んだりといった柔軟な使い方が可能です。

なぜ重要か

検索拡張生成（RAG）や高機能な検索エンジンのプロトタイプを作りたいエンジニアにとって、初期コストをゼロにできる価値は絶大です。大規模データの切り分けや埋め込み計算という、最もお金と時間がかかる障壁をスキップして検証に入れます。

Cohere側のビジネス視点で見ても、非常にクレバーなアプローチと言えます。静的なベクトルアーカイブを無料開放して開発者を呼び込み、検索クエリのベクトル化で自社のEmbed APIを使わせる導線が自然に完成しているからです。

注意点があるとすれば、データが特定時点のスナップショットである点です。日々更新される最新ニュースや動的な知識の反映には向きません。それでも、多言語検索の検証用ベースラインとして、これ以上手軽で実用的な資産はなかなかありません。