#DMS

研究拡散指数 31

NvidiaがDMSを発表：LLMのKVキャッシュを最大8倍圧縮、精度落とさず推論コスト激減

Nvidiaの研究チームは、LLMの推論メモリを最大8倍圧縮する動的メモリスパーシフィケーション（DMS）技術を発表した。固定ルールで削除する従来手法と異なり、モデル自身に保持・破棄を判断させ、「遅延退避」で文脈消失を防ぐ。NvidiaのModel Optimizerフレームワークで利用可能だ。