DeepSeek 开源自研推理框架 DeepInfer：支持华为芯片，无需英伟达即可部署

DeepInfer 是 DeepSeek 刚在 GitHub 上开源的高性能离线推理框架，专门用来驱动它家最新的 DeepSeek-V4.1-Flash 模型。说白了，这就是 DeepSeek 自己在生产环境跑超大规模模型时用的底层引擎，现在直接以 Apache 2.0 协议把代码端了出来。

最抓人眼球的地方，在于它直接把华为昇腾 950 NPU 放进了官方支持列表，和英伟达的 SM100 GPU 并列。这意味着国内团队部署这套大模型时，第一次有了一条完全不需要英伟达算力卡的官方落地路径。

它能做什么

DeepInfer 的核心任务，就是帮大模型在高并发、长文本的场景下把吞吐量拉满，同时压低延迟。

框架底层整合了 DeepSeek 此前积累的一整套自研加速算子，包括 FlashMLA、DeepGEMM、DeepEP、TileKernels 和 DeepSelect。在并行架构上，它支持 Attention DP、均衡 CP，以及 MoE 架构下的 EP 和 EPLB，把显存和算力负载尽量切得平整。

为了加速文本解码，DeepInfer 引入了名为 DSpark 的投机采样技术，配合置信度调度来进行草稿 token 的验证，默认最多支持 5 个草稿 token 解码。它还做了解码器 SWA 有界重放，通过截断只保留必要的前缀后缀，大幅减少长文本 Prefill 阶段的重复计算开销。

在生成控制方面，框架不仅支持基于正则表达式、JSON Schema 和 EBNF 语法的结构化输出，还给英伟达平台做了一套批次不变推理和确定性采样机制。换句话说，就算并发请求的组合随时在变，只要输入 token 和随机种子固定，模型吐出来的结果就会完全一致。

怎么跑起来

部署 DeepInfer 的门槛并不低，它针对的是真正的工业级硬件。

硬件方面，你需要英伟达 SM100 架构的 GPU，或者华为昇腾 950 NPU。在官方测试里，单次测试就用到了 4 块 SM100 做 Prefill，以及 64 块 SM100 做 Decode。

系统环境需要 Linux、GCC 13.0 以上版本以及 Python 3.12。如果跑在英伟达平台上，需要 CUDA 13；如果是昇腾平台，则需要 CANN 9.2。

环境配好后，通过环境变量导出对应的硬件平台，比如 export DEEPINFER_ACCELERATOR=nvidia 或 ascend，执行官方提供的 build.sh 脚本即可完成编译。首次跑离线测试脚本时，框架会自动拉取 deepseek-ai/DeepSeek-V4.1-Flash-1017 权重，也可以手动指定本地权重路径。

需要明确的是，这次开源的是离线推理引擎，并不等于拿来就能直接对外开在线 API。官方明确列出了暂未包含的模块：一套成熟的 KV cache 系统、Prefill 与 Decode 的分离架构，以及多副本之间的负载均衡，这些都需要开发者自己去补齐。

为什么重要

官方在致谢里写得很坦诚：DeepInfer 最初主要基于 vLLM 构建，同时也借鉴了 SGLang 和 TensorRT-LLM 的设计灵感。但它把生产级的高性能优化和国产硬件适配做成了一个开箱可编译的方案。

如果你手头有昇腾 950 或新一代英伟达机架，又正好需要私有化跑 DeepSeek-V4.1-Flash，那么 DeepInfer 是目前最能榨干这套架构潜力的选择。不过对于一般中小团队来说，缺少在线服务调度组件意味着工程二次开发成本极高，现阶段并不适合盲目跟风替换现有的通用推理框架。