NvidiaがDMSを発表：LLMのKVキャッシュを最大8倍圧縮、精度落とさず推論コスト激減

大規模言語モデルの思考が深くなるほど、GPUメモリの消費は加速度的に跳ね上がります。

モデルが思考プロセスを展開する際、一時的な文脈を保持するKVキャッシュが膨らみ、ハードウェアの大きなボトルネックになっていました。Nvidiaの研究チームは、このKVキャッシュを推論精度を落とすことなく最大8分の1に圧縮する新技術「動的メモリスパース化（DMS）」を開発しました。

モデル自身に「忘れる判断」をさせる

従来のメモリ削減手法は、直近の単語だけを残して過去の文脈を一律に捨てるスライディングウィンドウや、低速メモリへの退避など、機械的なルールに頼っていました。その結果、重要な手がかりが消えて回答精度が落ちたり、データの転送待ちで遅延が激しくなったりしていました。

DMSは既存のモデル自体にメモリ管理を学習させます。Llama 3やQwen 3といった既存モデルのアテンション層にあるニューロンを再利用し、トークンごとに保持するか破棄するかをモデル自身に判断させます。NvidiaのシニアディープラーニングエンジニアであるPiotr Nawrot氏によると、ベースモデルの重みを固定したままLoRAに似た手法で学習できるため、単一のDGX H100を使えばQwen3-8Bのようなモデルでも数時間で改変可能です。

技術的な肝は「遅延破棄」という仕組みです。破棄対象と判定されたトークンも即座に消さず、数百ステップほど一時領域に残します。現在の状態に文脈を十分に取り込ませてからメモリから消去するため、情報の取りこぼしを防げます。

AIME 24数学ベンチマークでは、同じメモリ予算のもとでDMSを適用したQwen-R1 32Bが、標準モデルより12ポイント高いスコアを記録しました。本技術はすでにNvidiaのModel Optimizerフレームワークで利用可能です。

なぜ重要か

推論時スケーリングが主流になるなか、最大の壁となっていたのが思考トークンの増大に伴うハードウェアコストです。

同じインフラ規模で処理できる推論スレッド数が100から800に跳ね上がれば、企業向けAIサービスの採算ラインは一変します。高価なGPUクラスタを無尽蔵に増設することなく、より深い思考ループや並列探索を本番環境で走らせることが可能になります。

ゼロからの再学習を必要とせず、手持ちのオープンモデルを数時間の軽量な適応作業でアップグレードできる点は、極めて実用的だと評価できます。リアルタイム対話でのオーバーヘッドを見極める必要はあるものの、長文推論やコード生成を扱う現場にとって、真っ先に試す価値のある最適化手法になりそうです。