NVIDIA 包攬 MLPerf 訓練測試：Blackwell Ultra 首秀，10 分鐘練完 405B

以前訓練一個幾千億引數的巨無霸模型，動不動要以月甚至以季度來算。現在輝達給出的最新答卷，把這個數字壓縮到了喝一杯咖啡的時間。

在最新的行業標準 AI 效能測試 MLPerf Training v5.1 中，輝達橫掃了全部 7 項基準測試。它不僅在每一項上都拿下了最快訓練速度，還是全場唯一一家提交了全部 7 項測試成績的平臺。

Blackwell Ultra 登場，4 位精度殺進訓練

這次跑分的真正主角是基於 Blackwell Ultra 架構的 GB300 NVL72 機架系統。這也是該架構在 MLPerf 訓練榜單上的首秀。

在 GPU 數量完全相同的情況下，相比上一代 Hopper 架構，GB300 NVL72 在 Llama 3.1 405B 預訓練上的效能達到了上一代的 4 倍以上；在 Llama 2 70B 的 LoRA 微調任務中，效能則接近上一代的 5 倍。

硬體底子確實夠硬。Blackwell Ultra 配備了 279GB HBM3e 視訊記憶體，注意力層算力翻倍，新 Tensor Core 能提供 15 petaflops 的 NVFP4 算力。配合首次亮相的 Quantum-X800 InfiniBand 網路，橫向擴充套件網路頻寬也翻了一倍，達到 800 Gb/s。

不過，這次成績最關鍵的突破不是單純堆硬體，而是輝達首次在 MLPerf 訓練測試中跑通了 NVFP4 精度。這也是 MLPerf 訓練史上頭一回有人用 4 位浮點數。

低精度意味著算力暴漲，但也容易丟精度。輝達表示，普通 Blackwell GPU 跑 FP4 的速度是 FP8 的 2 倍，而 Blackwell Ultra 能把這個速度拉到 3 倍。他們通過全棧最佳化，在保證符合基準嚴格精度要求的前提下，成了唯一一家交出 FP4 訓練成績的廠商。

5000 張卡叢集，10 分鐘練完 405B

在極限擴充套件測試中，輝達調動了超過 5000 張 Blackwell GPU 協同工作，把 Llama 3.1 405B 的訓練時間壓到了整整 10 分鐘。這比上一輪 Blackwell 提交的最佳成績快了 2.7 倍。

單卡效率也在提升。輝達用 2560 張 Blackwell GPU 測出 18.79 分鐘的成績，相比上一輪用 2496 張卡的成績，速度直接提了 45%。

這輪 MLPerf 還更新了測試集。服役多年的 BERT-large 被替換為 Llama 3.1 8B，輝達用 512 張 Blackwell Ultra 跑出了 5.2 分鐘；影像生成模型也換成了現在的熱門開源底座 FLUX.1，輝達用 1152 張卡在 12.5 分鐘內完成訓練，並且這項測試全場只有輝達一家提交了成績。

華碩、戴爾、HPE、聯想、超微、Nebius 等 15 家合作伙伴也同步提交了基於輝達平臺的測試資料。

為什麼重要

對於需要從頭預訓練大模型或做深度微調的團隊來說，訓練週期的縮短直接意味著試錯成本的大幅下降。10 分鐘完成一個超大模型的訓練週期固然是叢集極限展示，但單機架 4 到 5 倍的吞吐提升，能實打實讓中小算力叢集在預算不變的情況下接下更大的微調任務。

對整個晶片行業而言，輝達這次走得最聰明的一步，是把 FP4 從純推理場景硬生生推到了訓練環節。過去業內普遍認為低精度訓練極易導致梯度消失或發散，輝達通過演算法和硬體協同證明了 4 位訓練在工業標準下的可行性，這相當於把競爭對手還在追趕的 FP8/FP16 戰線再次拉開了一個代際。

但這裡看起來也有門檻和隱患。這套極為漂亮的數字高度依賴整套 GB300 NVL72 機架架構和 800G 網路的全家桶配合，不是單買幾張加速卡就能復現的體系。我們認為，這會讓客戶與輝達的網路、通訊庫和專用資料格式繫結得更深，雲廠商和客戶在享受恐怖效能的同時，遷移成本也變得前所未有地高。