オープンソース「RotorQuant」登場：Google超えの10倍KVキャッシュ圧縮

RotorQuantは、大規模言語モデルのKVキャッシュによるVRAM消費量を10分の1に圧縮し、長文プリフィル速度を5.3倍に引き上げるオープンソースの圧縮ツールだ。

ローカル環境でLLMを動かす際、最大の障壁となるのがKVキャッシュの増大だ。FP16精度の場合、8Bモデルで128Kトークンのコンテキストを扱うだけで、キャッシュだけで約4.6GBのVRAMを消費する。32Bモデルになれば、それだけで複数GPUが必要になる。

どのように実現したか

GoogleはICLR 2026で、ベクトルを回転させてから3-bitに圧縮するTurboQuantを発表した。しかしTurboQuantが使うアダマール変換はグローバルな稠密演算であり、128次元ベクトルあたり16,000回以上の浮動小数点演算が必要で、計算コストが大きなボトルネックとなっていた。

RotorQuantは、アテンションベクトルが低ランク多様体に存在することに着目した。全体を巨大な行列で回す代わりに、ベクトルをわずか3要素ずつの極小ブロックに分割し、クリフォード回転子を用いて独立して回転させる手法を採用した。

これにより演算回数は16,000回から約200回へと激減し、変換に必要なパラメータ数もTurboQuantより44倍削減された。さらに、局所的な回転のほうがベクトルの幾何学的構造を維持しやすいため、圧縮後の品質指標であるパープレキシティも向上した。

Llama 3.1 8Bによる3-bitの検証では、パープレキシティがTurboQuantの7.07から6.91へと改善した。デコード速度は秒間93トークンから119トークンへと28%向上し、プリフィル速度は秒間722トークンから3,822トークンへと5.3倍に跳ね上がった。

実運用では、1万トークンの文書を読み込む時間が14秒から3秒未満に短縮される計算だ。また、Kキャッシュのみを圧縮して精度劣化をわずか0.8%に抑える非対称モードも備えている。

導入方法

本プロジェクトはllama.cppのフォークとして公開されており、モデルの再学習や専用フォーマットへの変換は不要だ。

ハードウェアはNVIDIA CUDAとApple Silicon（Metal）の両方に対応している。GitHubからリポジトリを取得して該当ブランチをチェックアウトし、cmakeでビルドするだけでそのまま試すことができる。

なぜ重要か

ローカルでRAGや長大なコードベース解析を行っている開発者なら、今すぐ試す価値がある。長文推論における最大のストレスだったプロンプト読み込み時の待ち時間を劇的に解消してくれるからだ。

巨大テック企業の先行研究を、オープンソースコミュニティが数学的な工夫で軽量化し、実用ツールへと落とし込んだ点は見事だ。この手法が普及すれば、単一の24GB民生用GPUで32Bクラスの長文コンテキストを快適に動かす運用が当たり前になっていくだろう。