DeepSeekが推論基盤「DeepInfer」をOSS化：Huawei製チップに対応

DeepInferは、DeepSeekがGitHub上で公開した高性能なオフライン推論フレームワークです。自社の最新モデル「DeepSeek-V4.1-Flash」を大規模運用するために社内で使われていた基盤エンジンそのもので、Apache 2.0ライセンスでオープンソース化されました。

最大のトピックは、NVIDIAのSM100 GPUと並んで、Huawei製Ascend 950 NPUへのネイティブ対応が明記されている点です。NVIDIA製チップを一切使わずに、同等の超大規模モデルを自前で運用できる実践的な選択肢が登場したことになります。

何ができるのか

DeepInferの主目的は、長文処理や高並列アクセス時におけるスループットの最大化とレスポンス遅延の削減です。

内部にはFlashMLAやDeepGEMM、DeepEP、TileKernelsといったDeepSeek独自の高速化カーネルが組み込まれています。並列処理面でもAttention DPやバランスクラスター並列、MoE向けの負荷分散付きエキスパート並列（EPLB）を実装し、計算資源の偏りを抑えます。

生成速度の向上には、ドラフトトークンを用いる投機的サンプリング技術「DSpark」と信頼度スコアに基づく検証スケジューラを併用しています。さらに、長文のPrefill処理を軽量化するSWA有界リプレイや、CPUスケジューリングとデバイス実行を重ね合わせる非同期スケジューリングも備えています。

生成制御の面では、正規表現やJSON Schema、EBNF文法に沿った構造化出力が可能です。またNVIDIA環境限定で、バッチ構成が変わっても同一プロンプトなら完全に同じトークン列を返すバッチ不変推論や決定論的サンプリングにも対応しています。

どう動かすか

動かすためのハードルはかなり高く、エンタープライズ級の環境が前提となります。

必要なハードウェアはNVIDIA SM100 GPU、またはHuawei Ascend 950 NPUです。DeepSeek公式のベンチマーク測定では、Prefillに4枚、Decodeに64枚のSM100が用いられています。

OS環境はLinux、GCC 13.0以上、Python 3.12が必須です。ドライバ環境としては、NVIDIAならCUDA 13、AscendならCANN 9.2が要求されます。環境変数のDEEPINFER_ACCELERATORにnvidiaかascendを指定し、build.shを実行してビルドします。初回実行時にはHugging Faceから自動でDeepSeek-V4.1-Flash-1017の重みが取得されます。

注意点として、今回公開されたのはあくまでオフライン推論エンジンです。本番運用で必要となるKVキャッシュシステムやPrefill/Decodeの分離機構、複数インスタンス間のロードバランサーは同梱されていないため、自前で構築する必要があります。

なぜ重要か

DeepSeek自身が明記している通り、DeepInferはvLLMをベースにSGLangやTensorRT-LLMの知見を取り入れて作られています。その上で、自社アーキテクチャに特化したカーネルと中国国産チップへの最適化を一本化して公開した点に価値があります。

Ascend 950などのハードウェアを確保し、DeepSeek-V4.1-Flashをオンプレミスで限界まで高速に動かしたい企業にとっては最有力な土台になります。一方で、オンライン配信向けの周辺コンポーネントが不足しているため、手軽なAPIサーバーを求めている小規模チームが今すぐvLLMなどの汎用ツールから乗り換えるのは現実的ではありません。