DeepSeek 釋出實驗模型 V3.2-exp：稀疏注意力讓長文本成本減半

DeepSeek V3.2-exp 是一個主打低推理成本的實驗性開源模型，專門用來解決跑長文本時伺服器負載過重、費用昂貴的問題。

如果你經常處理超長文件或進行多輪程式碼分析，長上下文帶來的算力開銷往往讓人吃不消。這個模型的目標很直接：在處理海量上下文的同時，把推理開銷大幅打下來。

怎麼做到的

模型的關鍵機制被稱為「稀疏注意力」（DeepSeek Sparse Attention）。傳統模型在長文本下要把所有 token 都塞進注意力層計算，而 V3.2-exp 換了個聰明的兩步走策略。

首先，系統會通過一個叫「閃電索引器」（lightning indexer）的模組，快速從龐大的上下文視窗中定位出最重要的幾個片段。

接著，一個細粒度標記選擇系統（fine-grained token selection system）會介入，只從這些片段裡挑出真正關鍵的 token，塞進容量有限的注意力窗口裡計算。

這樣一來，模型既不需要對整篇長文進行全量密集運算，又能保留關鍵上下文資訊，讓伺服器負載顯著下降。

降本效果與去哪試

根據 DeepSeek 的初步測試，在長上下文操作中，單次 API 呼叫的成本最高可以減少一半。

目前該模型處於實驗階段，官方表示還需要更多測試來給出更全面的效能評估。不過因為已經完全放出了權重，社群很快就能驗證論文裡的測試資料。

想要嘗試的開發者可以直接去 Hugging Face 下載開放權重，相關的學術論文也已經開源在 GitHub 上，包含詳細的技術架構示意圖。

為什麼重要

對經常呼叫長上下文的開發者和團隊來說，V3.2-exp 非常值得關注。模型推理的伺服器賬單往往比訓練更磨人，能把長文本呼叫成本直接砍掉一半，直接決定了某些長文本功能能不能算得過來賬。

我們認為，DeepSeek 這次沒有在模型規模上硬卷，而是把手術刀對準了底層 Transformer 的計算效率，這步棋走得非常務實。它不僅給開源社群提供了一套可復現的稀疏注意力樣本，也會促使主流商業模型加速最佳化長文本的推理定價。