Google DeepMind、ベクトル検索の数学的限界を解明：RAGの信頼性に課題

現在、多くの企業向けAIやRAG（検索拡張生成）システムの基盤を支えているのがベクトル検索です。文書を多次元空間の数値ベクトルに変換し、類似度で関連文書を引っ張ってくる手法は、もはや標準的なアプローチとして定着しています。

しかし、Google DeepMindが発表した最新の研究は、この単一ベクトル埋め込み（single-vector embedding）に数学的な限界が存在することを突き止めました。これはモデルを巨大化したり、学習データを増やしたりしても解決できない、構造的な壁です。

理想的な計算環境でも現れる「限界点」

これまでベクトル検索の精度不足は、クエリの書き方が悪いか、言語モデルの理解力が足りないためだと考えられがちでした。そこでDeepMindの研究チームは、言語モデルの影響を完全に排除した検証を行いました。

「自由埋め込み最適化」と呼ばれるこの実験では、自然言語の処理を一切挟まず、ベクトル空間の幾何学的な容量だけをテストするために数値を直接最適化しました。いわば、ベクトル検索にとって絶対に言い訳ができない理想環境を用意したわけです。

それでも破綻は起きました。与えられたベクトルの次元数に対して、扱える文書の組み合わせ数が一定を超えると、関連性を表現しきれなくなる「臨界点」が明確に存在することが判明しました。ウェブ規模の大規模検索においては、どれだけ次元数を増やしても、理論上すべての組み合わせを表現することは不可能だという結論です。

最新モデルを圧倒した数十年前のアルゴリズム

従来の業界ベンチマークでは、この弱点が見落とされていました。たとえば32万5000件の文書を持つQUESTデータセットでは、想定される関連文書の組み合わせ数が天文学的な数字に達するにもかかわらず、わずか数千件のクエリしかテストされていません。

そこで研究チームは「LIMIT」という新たなデータセットを作成しました。「アリスはリンゴとバナナが好き」「誰がリンゴを好きか？」といった極めて平易な内容ですが、複数のクエリに同じ文書が重なって関連づけられる構造を意図的に詰め込んでいます。

その結果、GoogleやSnowflakeなどの最先端モデルがLIMIT上で大きく失速し、完全タスクでの再現率（リコール）が20%を下回るケースも見られました。さらにLIMITでファインチューニングを行っても性能はほとんど改善せず、未知のドメインに対応できない問題ではなく、アーキテクチャの容量オーバーであることが裏付けられました。対照的に、数十年前に考案された古き良き語彙検索アルゴリズム「BM25」は、このタスクを難なく高精度で処理して見せました。

なぜ重要か

RAGや社内検索システムを構築しているエンジニアにとって、この研究は単一ベクトルへの盲信を捨てる強いきっかけになります。「リンゴが好きで特定の条件に合致する人」のような、一見簡単に見えて組み合わせ論的な条件指定が入るタスクでは、最新の高額なベクトル検索だけに頼るとシステムが突如として機能しなくなるリスクがあります。

私たちが注目すべきだと考えるのは、DeepMindが小手先のモデル改善ではなく、幾何学的な限界という根本的な欠陥を証明した点です。単一ベクトルモデルの性能競争を続けるだけでは、複雑な検索要件をクリアできないことが明確になりました。

今後の業界トレンドは、ベクトル検索単体への依存から、BM25のような従来の語彙検索やマルチベクトル技術を組み合わせた「ハイブリッド検索」の再評価へと向かうと見られます。最先端のAIシステムを真に安定させる鍵が、何十年も前に確立された枯れた技術にあるというのは、非常に示唆に富む現実です。