NVIDIA Blackwell Ultra 亮相 MLPerf：跑 R1 推理比 Hopper 快 5 倍

AI 圈現在最頭疼的不是模型不夠聰明，而是模型變聰明之後太費算力了。像 DeepSeek-R1 這種會自己推理思考的模型，給出最終答案前要先自言自語吐出成千上萬箇中間 token，直接把資料中心的伺服器跑冒煙。

算力賬單壓頂的時候，硬體巨頭通常只有一條路可走：用更硬的架構和更激進的演算法把吞吐量強行拉上去。

行業基準組織 MLCommons 公佈了 MLPerf Inference v5.1 的最新成績。NVIDIA 在 3 月釋出的 Blackwell Ultra 架構首次登場，直接拿 72 卡機架系統 GB300 NVL72 跑出了新紀錄。

跑 DeepSeek-R1，比上一代快了 45%

這次 MLPerf 最大的看點是引入了幾個新考題：擁有 6710 億引數的 DeepSeek-R1、超大號模型 Llama 3.1 405B 的互動式場景、用來替代老舊 GPT-J 的 Llama 3.1 8B，以及單月下載近 500 萬次的 Whisper 語音模型。

在最具代表性的 DeepSeek-R1 離線測試裡，GB300 NVL72 單顆 GPU 的吞吐量達到了每秒 5842 個 token。對比半年前釋出的 GB200 NVL72，單卡效能直接拔高了 45%；在考驗響應延遲的伺服器場景下，也有 25% 的提升。

如果拉出上一代 Hopper 架構的 DGX H200 相比，Blackwell Ultra 的單卡吞吐量更是達到了前者的近 5 倍。這意味著跑同一個推理大模型，機房佔地和耗電成本都會被大幅攤薄。

軟硬體一起動手，把 4 位元摳出極致

單靠堆硬體規格很難在 MoE 架構上跑出這種倍率。Blackwell Ultra 本身硬體底子確實更厚，單 GPU 擁有高達 288GB 的 HBM3e 記憶體，NVFP4 算力是上一代的 1.5 倍，注意力層加速翻了整整兩倍。

但在軟體層面，NVIDIA 做的改動更細緻。原生 DeepSeek-R1 權重是 FP8 格式，NVIDIA 通過自家的 TensorRT Model Optimizer 把它壓進了 NVFP4。雖然壓縮到了 4 位元浮點，但在測試裡依然保持了基準要求的精度。

同時，原本用 BF16 格式儲存的 KV 快取也被量化到了 FP8，直接給視訊記憶體鬆了綁。針對 6710 億引數的龐大混合專家架構，他們還重寫了運算元，把專家並行和注意力資料並行拆開，配合名叫 ADP Balance 的動態負載均衡技術，防止有些 GPU 累死、有些 GPU 閒著。

針對 Llama 3.1 405B 這種龐然大物，NVIDIA 則主推分離式推理，把吃算力的輸入上下文處理和生成後續 token 的步驟拆到不同卡上做。光靠這一項，就讓 72 卡系統的單卡表現比傳統部署方式提升了 47%。

為什麼重要

這套成績單最現實的意義，是直接給雲廠商和算力租戶算了一筆賬。推理時代已經從比拼誰的模型引數大，變成了比拼誰產出一個 token 的成本更低。

對於打算自建模型服務或呼叫本地大模型的企業來說，GB300 NVL72 的單卡吞吐提升，意味著同等併發下需要的伺服器數量大幅縮減。特別是在 Azure、CoreWeave、Oracle 這些首批上線 Blackwell 的雲服務商那裡，租用算力的邊際成本有望進一步下探。

從行業競爭來看，NVIDIA 這一步走得相當狡黠。對手們還在努力追趕 H100 和 H200 的基礎算力，NVIDIA 已經把戰場拉到了 NVFP4 量化生態和機架級互聯上。它不僅賣晶片，還用一套封閉度極高但效率極好的全棧軟體把客戶牢牢綁在自己的體系裡。

不過隱患也寫在明處。NVFP4 是 NVIDIA 自家的私有格式，這套從晶片到編譯器的極致最佳化，會讓整個生態對輝達軟硬體棧的依賴進一步加深。如果未來開源社群出現完全不吃這一套的全新推理架構，這種軟硬繫結的護城河可能也會成為企業切換架構的沉重包袱。