Nvidia 推出 DMS 技术：KV 缓存压缩达 8 倍，长思考推理成本大降

现在的推理大模型有个让人头疼的毛病：想得越深，显存烧得越狠。

大模型在做长思考或多路径探索时，每吐出一个思考步骤，显卡里临时存上下文的 KV 缓存就会直线上涨。显卡大部分时间都在搬运数据而不是算题，显存一旦吃紧，系统要么变慢要么卡死。Nvidia 研究人员最近拿出了一套叫做动态内存稀疏化（DMS）的技术，直接把大模型的 KV 缓存压小了最多 8 倍，而且没丢掉推理精度。

让模型自己决定忘掉什么

以前大家想省显存，大多靠死板的启发式规则，比如最简单的滑动窗口，只留最近几个词，前面的全扔掉；或者靠分页换入换出，把不用的上下文倒腾到慢速内存里。结果要么是模型把关键线索扔了、答题变笨，要么是反复倒腾数据导致延迟飙升。

Nvidia 的思路是给现成模型做轻量化改造，让模型自己学会挑重点。他们不用从头重新训练，而是直接利用注意力层里现有的神经元，让它们负责给每个词输出保留还是丢弃的信号。Nvidia 深度学习高级工程师 Piotr Nawrot 透露，这套改造就像做一次 LoRA，把原有模型权重冻结住，一台单卡 DGX H100 只要几小时就能搞定一个 Qwen3-8B 规模的模型。

这里面最关键的设计叫延迟驱逐。很多词其实处于灰色地带，既算不上必须永久记住，也不是完全没用。DMS 会把这些词先打上丢弃标记，但还在本地窗口里暂留几百步，等模型把里面的有效信息吸收到当前状态后，再彻底从缓存里抹掉。

在 AIME 24 数学基准测试里，在相同的内存预算下，用上这套技术的 Qwen-R1 32B 比标准模型分数直接高了 12 分。这项技术目前已经集成到了 Nvidia 的 Model Optimizer 框架里。

为什么重要

我们认为，这项技术切中的正是当下推理模型落地的最大痛点：思考成本。

以前企业跑思维链模型，要么花大价钱堆显存，要么只能限制模型的推理步数。如果同一套硬件能从跑 100 个推理线程变成跑 800 个，意味着企业可以用同样的算力预算，让模型跑更深度的验证，甚至直接把原本只能在云端集群跑的重度推理模型，塞进显存更紧凑的私有化部署环境。

对开发者和企业来说，它的门槛相当友好。它不需要花几百万去预训练新模型，拿开源的 Llama 3 或 Qwen 3 挂在单台服务器上跑几小时微调就能用上，落地路径非常清晰。

不过看起来它也并非完全零成本。虽然微调本身很快，但动态判断每个词的留存依然会在注意力层增加额外的逻辑开销，具体到极低延迟的实时对话场景下能跑出多少净收益，还得看实际硬件吞吐。但对于需要长链条推理、写代码和复杂数学计算的场景，这种按需记笔记的做法，显然比一刀切的硬砍聪明得多。