DeepSeek 釋出實驗模型 V3.2-exp:稀疏注意力讓長文本成本減半
週一,DeepSeek 釋出實驗模型 V3.2-exp。該模型引入了稀疏注意力機制,通過索引器和細粒度標記選擇,只把關鍵內容載入注意力視窗。初步測試顯示,長上下文呼叫的 API 成本最高可減少一半。目前該權重已在 Hugging Face 開源。
週一,DeepSeek 釋出實驗模型 V3.2-exp。該模型引入了稀疏注意力機制,通過索引器和細粒度標記選擇,只把關鍵內容載入注意力視窗。初步測試顯示,長上下文呼叫的 API 成本最高可減少一半。目前該權重已在 Hugging Face 開源。