DeepSeek 開源自研推理框架 DeepInfer：支援華為晶片，無需輝達即可部署

DeepInfer 是 DeepSeek 剛在 GitHub 上開源的高效能離線推理框架，專門用來驅動它家最新的 DeepSeek-V4.1-Flash 模型。說白了，這就是 DeepSeek 自己在生產環境跑超大規模模型時用的底層引擎，現在直接以 Apache 2.0 協議把程式碼端了出來。

最抓人眼球的地方，在於它直接把華為昇騰 950 NPU 放進了官方支援列表，和輝達的 SM100 GPU 並列。這意味著國內團隊部署這套大模型時，第一次有了一條完全不需要輝達算力卡的官方落地路徑。

它能做什麼

DeepInfer 的核心任務，就是幫大模型在高併發、長文本的場景下把吞吐量拉滿，同時壓低延遲。

框架底層整合了 DeepSeek 此前積累的一整套自研加速運算元，包括 FlashMLA、DeepGEMM、DeepEP、TileKernels 和 DeepSelect。在並行架構上，它支援 Attention DP、均衡 CP，以及 MoE 架構下的 EP 和 EPLB，把視訊記憶體和算力負載儘量切得平整。

為了加速文本解碼，DeepInfer 引入了名為 DSpark 的投機取樣技術，配合置信度排程來進行草稿 token 的驗證，預設最多支援 5 個草稿 token 解碼。它還做了解碼器 SWA 有界重放，通過截斷只保留必要的字首字尾，大幅減少長文本 Prefill 階段的重複計算開銷。

在生成控制方面，框架不僅支援基於正規表示式、JSON Schema 和 EBNF 語法的結構化輸出，還給輝達平臺做了一套批次不變推理和確定性取樣機制。換句話說，就算併發請求的組合隨時在變，只要輸入 token 和隨機種子固定，模型吐出來的結果就會完全一致。

怎麼跑起來

部署 DeepInfer 的門檻並不低，它針對的是真正的工業級硬體。

硬體方面，你需要輝達 SM100 架構的 GPU，或者華為昇騰 950 NPU。在官方測試裡，單次測試就用到了 4 塊 SM100 做 Prefill，以及 64 塊 SM100 做 Decode。

系統環境需要 Linux、GCC 13.0 以上版本以及 Python 3.12。如果跑在輝達平臺上，需要 CUDA 13；如果是昇騰平臺，則需要 CANN 9.2。

環境配好後，通過環境變數匯出對應的硬體平臺，比如 export DEEPINFER_ACCELERATOR=nvidia 或 ascend，執行官方提供的 build.sh 指令碼即可完成編譯。首次跑離線測試指令碼時，框架會自動拉取 deepseek-ai/DeepSeek-V4.1-Flash-1017 權重，也可以手動指定本地權重路徑。

需要明確的是，這次開源的是離線推理引擎，並不等於拿來就能直接對外開線上 API。官方明確列出了暫未包含的模組：一套成熟的 KV cache 系統、Prefill 與 Decode 的分離架構，以及多副本之間的負載均衡，這些都需要開發者自己去補齊。

為什麼重要

官方在致謝裡寫得很坦誠：DeepInfer 最初主要基於 vLLM 構建，同時也借鑑了 SGLang 和 TensorRT-LLM 的設計靈感。但它把生產級的高效能最佳化和國產硬體適配做成了一個開箱可編譯的方案。

如果你手頭有昇騰 950 或新一代輝達機架，又正好需要私有化跑 DeepSeek-V4.1-Flash，那麼 DeepInfer 是目前最能榨乾這套架構潛力的選擇。不過對於一般中小團隊來說，缺少線上服務排程元件意味著工程二次開發成本極高，現階段並不適合盲目跟風替換現有的通用推理框架。