NVIDIA Blackwell Ultra 亮相 MLPerf：跑 R1 推理比 Hopper 快 5 倍

AI 圈现在最头疼的不是模型不够聪明，而是模型变聪明之后太费算力了。像 DeepSeek-R1 这种会自己推理思考的模型，给出最终答案前要先自言自语吐出成千上万个中间 token，直接把数据中心的服务器跑冒烟。

算力账单压顶的时候，硬件巨头通常只有一条路可走：用更硬的架构和更激进的算法把吞吐量强行拉上去。

行业基准组织 MLCommons 公布了 MLPerf Inference v5.1 的最新成绩。NVIDIA 在 3 月发布的 Blackwell Ultra 架构首次登场，直接拿 72 卡机架系统 GB300 NVL72 跑出了新纪录。

跑 DeepSeek-R1，比上一代快了 45%

这次 MLPerf 最大的看点是引入了几个新考题：拥有 6710 亿参数的 DeepSeek-R1、超大号模型 Llama 3.1 405B 的交互式场景、用来替代老旧 GPT-J 的 Llama 3.1 8B，以及单月下载近 500 万次的 Whisper 语音模型。

在最具代表性的 DeepSeek-R1 离线测试里，GB300 NVL72 单颗 GPU 的吞吐量达到了每秒 5842 个 token。对比半年前发布的 GB200 NVL72，单卡性能直接拔高了 45%；在考验响应延迟的服务器场景下，也有 25% 的提升。

如果拉出上一代 Hopper 架构的 DGX H200 相比，Blackwell Ultra 的单卡吞吐量更是达到了前者的近 5 倍。这意味着跑同一个推理大模型，机房占地和耗电成本都会被大幅摊薄。

软硬件一起动手，把 4 比特抠出极致

单靠堆硬件规格很难在 MoE 架构上跑出这种倍率。Blackwell Ultra 本身硬件底子确实更厚，单 GPU 拥有高达 288GB 的 HBM3e 内存，NVFP4 算力是上一代的 1.5 倍，注意力层加速翻了整整两倍。

但在软件层面，NVIDIA 做的改动更细致。原生 DeepSeek-R1 权重是 FP8 格式，NVIDIA 通过自家的 TensorRT Model Optimizer 把它压进了 NVFP4。虽然压缩到了 4 比特浮点，但在测试里依然保持了基准要求的精度。

同时，原本用 BF16 格式存储的 KV 缓存也被量化到了 FP8，直接给显存松了绑。针对 6710 亿参数的庞大混合专家架构，他们还重写了算子，把专家并行和注意力数据并行拆开，配合名叫 ADP Balance 的动态负载均衡技术，防止有些 GPU 累死、有些 GPU 闲着。

针对 Llama 3.1 405B 这种庞然大物，NVIDIA 则主推分离式推理，把吃算力的输入上下文处理和生成后续 token 的步骤拆到不同卡上做。光靠这一项，就让 72 卡系统的单卡表现比传统部署方式提升了 47%。

为什么重要

这套成绩单最现实的意义，是直接给云厂商和算力租户算了一笔账。推理时代已经从比拼谁的模型参数大，变成了比拼谁产出一个 token 的成本更低。

对于打算自建模型服务或调用本地大模型的企业来说，GB300 NVL72 的单卡吞吐提升，意味着同等并发下需要的服务器数量大幅缩减。特别是在 Azure、CoreWeave、Oracle 这些首批上线 Blackwell 的云服务商那里，租用算力的边际成本有望进一步下探。

从行业竞争来看，NVIDIA 这一步走得相当狡黠。对手们还在努力追赶 H100 和 H200 的基础算力，NVIDIA 已经把战场拉到了 NVFP4 量化生态和机架级互联上。它不仅卖芯片，还用一套封闭度极高但效率极好的全栈软件把客户牢牢绑在自己的体系里。

不过隐患也写在明处。NVFP4 是 NVIDIA 自家的私有格式，这套从芯片到编译器的极致优化，会让整个生态对英伟达软硬件栈的依赖进一步加深。如果未来开源社区出现完全不吃这一套的全新推理架构，这种软硬绑定的护城河可能也会成为企业切换架构的沉重包袱。