Nvidia 推出 DMS 技术：KV 缓存压缩达 8 倍，长思考推理成本大降
Nvidia 研究团队推出动态内存稀疏化技术 DMS，可将大模型 KV 缓存压缩最高 8 倍。它训练 Llama 3、Qwen 3 等模型自主决定保留或清除哪些 token，并引入「延迟驱逐」机制防误删。同等显存下推理吞吐可提升数倍，技术已集成进 Nvidia Model Optimizer 框架。
Nvidia 研究团队推出动态内存稀疏化技术 DMS，可将大模型 KV 缓存压缩最高 8 倍。它训练 Llama 3、Qwen 3 等模型自主决定保留或清除哪些 token，并引入「延迟驱逐」机制防误删。同等显存下推理吞吐可提升数倍，技术已集成进 Nvidia Model Optimizer 框架。