Nvidia 推出 DMS 技術：KV 快取壓縮達 8 倍，長思考推理成本大降
Nvidia 研究團隊推出動態記憶體稀疏化技術 DMS，可將大模型 KV 快取壓縮最高 8 倍。它訓練 Llama 3、Qwen 3 等模型自主決定保留或清除哪些 token，並引入「延遲驅逐」機制防誤刪。同等視訊記憶體下推理吞吐可提升數倍，技術已整合進 Nvidia Model Optimizer 框架。
Nvidia 研究團隊推出動態記憶體稀疏化技術 DMS，可將大模型 KV 快取壓縮最高 8 倍。它訓練 Llama 3、Qwen 3 等模型自主決定保留或清除哪些 token，並引入「延遲驅逐」機制防誤刪。同等視訊記憶體下推理吞吐可提升數倍，技術已整合進 Nvidia Model Optimizer 框架。