NVIDIA 包揽 MLPerf 训练测试：Blackwell Ultra 首秀，10 分钟练完 405B

以前训练一个几千亿参数的巨无霸模型，动不动要以月甚至以季度来算。现在英伟达给出的最新答卷，把这个数字压缩到了喝一杯咖啡的时间。

在最新的行业标准 AI 性能测试 MLPerf Training v5.1 中，英伟达横扫了全部 7 项基准测试。它不仅在每一项上都拿下了最快训练速度，还是全场唯一一家提交了全部 7 项测试成绩的平台。

Blackwell Ultra 登场，4 位精度杀进训练

这次跑分的真正主角是基于 Blackwell Ultra 架构的 GB300 NVL72 机架系统。这也是该架构在 MLPerf 训练榜单上的首秀。

在 GPU 数量完全相同的情况下，相比上一代 Hopper 架构，GB300 NVL72 在 Llama 3.1 405B 预训练上的性能达到了上一代的 4 倍以上；在 Llama 2 70B 的 LoRA 微调任务中，性能则接近上一代的 5 倍。

硬件底子确实够硬。Blackwell Ultra 配备了 279GB HBM3e 显存，注意力层算力翻倍，新 Tensor Core 能提供 15 petaflops 的 NVFP4 算力。配合首次亮相的 Quantum-X800 InfiniBand 网络，横向扩展网络带宽也翻了一倍，达到 800 Gb/s。

不过，这次成绩最关键的突破不是单纯堆硬件，而是英伟达首次在 MLPerf 训练测试中跑通了 NVFP4 精度。这也是 MLPerf 训练史上头一回有人用 4 位浮点数。

低精度意味着算力暴涨，但也容易丢精度。英伟达表示，普通 Blackwell GPU 跑 FP4 的速度是 FP8 的 2 倍，而 Blackwell Ultra 能把这个速度拉到 3 倍。他们通过全栈优化，在保证符合基准严格精度要求的前提下，成了唯一一家交出 FP4 训练成绩的厂商。

5000 张卡集群，10 分钟练完 405B

在极限扩展测试中，英伟达调动了超过 5000 张 Blackwell GPU 协同工作，把 Llama 3.1 405B 的训练时间压到了整整 10 分钟。这比上一轮 Blackwell 提交的最佳成绩快了 2.7 倍。

单卡效率也在提升。英伟达用 2560 张 Blackwell GPU 测出 18.79 分钟的成绩，相比上一轮用 2496 张卡的成绩，速度直接提了 45%。

这轮 MLPerf 还更新了测试集。服役多年的 BERT-large 被替换为 Llama 3.1 8B，英伟达用 512 张 Blackwell Ultra 跑出了 5.2 分钟；图像生成模型也换成了现在的热门开源底座 FLUX.1，英伟达用 1152 张卡在 12.5 分钟内完成训练，并且这项测试全场只有英伟达一家提交了成绩。

华硕、戴尔、HPE、联想、超微、Nebius 等 15 家合作伙伴也同步提交了基于英伟达平台的测试数据。

为什么重要

对于需要从头预训练大模型或做深度微调的团队来说，训练周期的缩短直接意味着试错成本的大幅下降。10 分钟完成一个超大模型的训练周期固然是集群极限展示，但单机架 4 到 5 倍的吞吐提升，能实打实让中小算力集群在预算不变的情况下接下更大的微调任务。

对整个芯片行业而言，英伟达这次走得最聪明的一步，是把 FP4 从纯推理场景硬生生推到了训练环节。过去业内普遍认为低精度训练极易导致梯度消失或发散，英伟达通过算法和硬件协同证明了 4 位训练在工业标准下的可行性，这相当于把竞争对手还在追赶的 FP8/FP16 战线再次拉开了一个代际。

但这里看起来也有门槛和隐患。这套极为漂亮的数字高度依赖整套 GB300 NVL72 机架架构和 800G 网络的全家桶配合，不是单买几张加速卡就能复现的体系。我们认为，这会让客户与英伟达的网络、通信库和专用数据格式绑定得更深，云厂商和客户在享受恐怖性能的同时，迁移成本也变得前所未有地高。