Nvidia 推出 DMS 技術：KV 快取壓縮達 8 倍，長思考推理成本大降

現在的推理大模型有個讓人頭疼的毛病：想得越深，視訊記憶體燒得越狠。

大模型在做長思考或多路徑探索時，每吐出一個思考步驟，顯卡里臨時存上下文的 KV 快取就會直線上漲。顯示卡大部分時間都在搬運資料而不是算題，視訊記憶體一旦吃緊，系統要麼變慢要麼卡死。Nvidia 研究人員最近拿出了一套叫做動態記憶體稀疏化（DMS）的技術，直接把大模型的 KV 快取壓小了最多 8 倍，而且沒丟掉推理精度。

讓模型自己決定忘掉什麼

以前大家想省視訊記憶體，大多靠死板的啟發式規則，比如最簡單的滑動視窗，只留最近幾個詞，前面的全扔掉；或者靠分頁換入換出，把不用的上下文倒騰到慢速記憶體裡。結果要麼是模型把關鍵線索扔了、答題變笨，要麼是反覆倒騰資料導致延遲飆升。

Nvidia 的思路是給現成模型做輕量化改造，讓模型自己學會挑重點。他們不用從頭重新訓練，而是直接利用注意力層裡現有的神經元，讓它們負責給每個詞輸出保留還是丟棄的訊號。Nvidia 深度學習高階工程師 Piotr Nawrot 透露，這套改造就像做一次 LoRA，把原有模型權重凍結住，一臺單卡 DGX H100 只要幾小時就能搞定一個 Qwen3-8B 規模的模型。

這裡面最關鍵的設計叫延遲驅逐。很多詞其實處於灰色地帶，既算不上必須永久記住，也不是完全沒用。DMS 會把這些詞先打上丟棄標記，但還在本地窗口裡暫留幾百步，等模型把裡面的有效資訊吸收到當前狀態後，再徹底從快取裡抹掉。

在 AIME 24 數學基準測試裡，在相同的記憶體預算下，用上這套技術的 Qwen-R1 32B 比標準模型分數直接高了 12 分。這項技術目前已經整合到了 Nvidia 的 Model Optimizer 框架裡。

為什麼重要

我們認為，這項技術切中的正是當下推理模型落地的最大痛點：思考成本。

以前企業跑思維鏈模型，要麼花大價錢堆視訊記憶體，要麼只能限制模型的推理步數。如果同一套硬體能從跑 100 個推理執行緒變成跑 800 個，意味著企業可以用同樣的算力預算，讓模型跑更深度的驗證，甚至直接把原本只能在雲端叢集跑的重度推理模型，塞進視訊記憶體更緊湊的私有化部署環境。

對開發者和企業來說，它的門檻相當友好。它不需要花幾百萬去預訓練新模型，拿開源的 Llama 3 或 Qwen 3 掛在單臺伺服器上跑幾小時微調就能用上，落地路徑非常清晰。

不過看起來它也並非完全零成本。雖然微調本身很快，但動態判斷每個詞的留存依然會在注意力層增加額外的邏輯開銷，具體到極低延遲的即時對話場景下能跑出多少淨收益，還得看實際硬體吞吐。但對於需要長鏈條推理、寫程式碼和複雜數學計算的場景，這種按需記筆記的做法，顯然比一刀切的硬砍聰明得多。