GoogleがTurboQuantを発表：KVキャッシュを3bitに圧縮しメモリ消費を6分の1に削減

ドラマ『シリコンバレー』に登場する架空のスタートアップ「パイド・パイパー」をご存知でしょうか。どんなデータも劣化なしで極限まで圧縮する夢のアルゴリズムで業界を驚かせる設定でしたが、Google Research がそれを現実の AI 処理でやってのけました。

Google は 3 月 24 日、大規模言語モデルとベクトル検索を大幅に圧縮する新アルゴリズム「TurboQuant」を発表しました。研究員のアミール・ザンディエ氏とフェローのヴァハブ・ミロクニ氏らによる成果で、ICLR 2026 や AISTATS 2026 で発表される予定です。

直交座標を捨てて極座標へ、オーバーヘッドをゼロにする発想

LLM が長い文章を読み解く際、推論の作業メモリとなる「KV キャッシュ」がボトルネックになりがちです。

従来のベクトル量子化でもデータサイズは削減できましたが、微小なデータブロックごとに補正用の定数を保持する必要があり、数値あたり 1 〜 2 ビットの余分なメモリオーバーヘッドが生じていました。これではせっかく圧縮しても効果が相殺されてしまいます。

TurboQuant は、この課題を「QJL」と「PolarQuant」という 2 つの数学的アプローチで解消しました。

QJL はジョンソン・リンデンシュトラウス変換を用い、データの幾何学的距離を保ったまま符号ビット（+1 または -1）だけに圧縮します。高精度なクエリと低精度データをうまく掛け合わせることで、メモリの追加消費なしにアテンションスコアを計算します。

もう一つの PolarQuant はさらに大胆で、従来の直交座標系（X, Y, Z）を捨て、極座標（半径と角度）へ変換します。

「東に 3 メートル、北に 4 メートル」と記録する代わりに「37 度の方向に 5 メートル」と表現するイメージです。角度の分布があらかじめ予測可能なため、固定された円形のグリッド上に直接マッピングでき、重い正規化処理や余分な定数データを一切持つ必要がなくなりました。

精度劣化なしでメモリ 6 分の 1、H100 で 8 倍の高速化

実証実験でも驚異的な数字が出ています。Google はオープンソースの Gemma と Mistral を使い、LongBench や Needle In A Haystack といった長文脈ベンチマークで検証を行いました。

追加の学習やファインチューニングを一切行わない状態で、KV キャッシュをわずか 3 ビットまで圧縮することに成功。モデルの精度損失はゼロで、長文から特定の情報を探し出すテストでも完璧な結果を維持しました。

速度面では、NVIDIA H100 GPU において 4 ビットの TurboQuant が、未量子化の 32 ビット時と比べて最大 8 倍のアテンション計算速度を記録。KV キャッシュのメモリフットプリントを少なくとも 6 分の 1 に削減しています。

さらにベクトル検索でも、PQ や RabbiQ といった従来手法を上回る検索精度（1@k リコール）を叩き出しました。巨大なコードブックやデータセットごとの微調整も不要です。

これを受けてネット上では「本物のパイド・パイパーだ」と話題になり、Cloudflare の CEO であるマシュー・プリンス氏は「Google の DeepSeek モーメント」と評価しました。

なぜ重要か

私たちは、この成果が長文推論のコスト構造を劇的に変える可能性を秘めていると考えます。

開発者やクラウド事業者にとって、長文コンテキストの処理費用は最大の頭痛の種です。KV キャッシュの消費メモリが 6 分の 1 になれば、単一の GPU クラスタで捌けるリクエスト数は飛躍的に跳ね上がり、ローカル環境や小型デバイスでも長文タスクが現実的になります。

業界全体にとっても、力まかせのハードウェア増強ではなく、数学的な幾何変換による基礎理論のアプローチでブレイクスルーを生み出した点は示唆に富んでいます。競合各社も同様のアプローチを追従せざるを得なくなるはずです。

ただし、冷静に見極めるべき点もあります。TurboQuant は現時点ではあくまで研究室レベルの成果であり、大規模な本番環境で運用実績を積んだわけではありません。また、対象はあくまで推論時のメモリと検索であり、依然として莫大な VRAM を要求するモデル学習の負荷を直接軽減するものではない点には留意が必要です。

とはいえ、再学習なしで推論メモリをここまで劇的に絞れる手法は極めて実用的です。今後の商用実装の進展を注視する価値は十分にあります。