NVIDIA H100 登顶 MLPerf 榜单：3584 块卡不到 11 分钟跑完 GPT-3 训练

想要训练一个 GPT-3 级别的大语言模型，以往需要数周甚至数月的算力调度。现在这个周期被压缩到了以分钟计算。

权威基准评测机构发布了最新的 MLPerf 训练榜单。NVIDIA 的 H100 Tensor Core GPU 包揽了全部 8 项测试的性能第一，并在最新加入的生成式 AI 测试中拿出了亮眼的数据。

在由初创公司 Inflection AI 参与联合开发、算力云服务商 CoreWeave 运营的集群上，3584 块 H100 GPU 联手运行基于 GPT-3 的大模型训练基准，耗时不到 11 分钟。

几乎独吞的榜单与上千张卡的线性扩展

这次 MLPerf 最大的看点就是生成式 AI 测试的亮相，而 H100 成了全场唯一跑完所有 8 个测试项目的芯片。从大语言模型、推荐系统，到计算机视觉、医疗影像和语音识别，无一例外刷新了纪录。

更值得关注的是大规模扩展能力。当集群规模从数百块 H100 扩展到数千块时，整个系统的算力呈现出近乎线性的增长。

另外，CoreWeave 在云端跑出的成绩，几乎追平了 NVIDIA 自己在本地数据中心专属 AI 超算上的水准。这在很大程度上归功于其采用的 NVIDIA Quantum-2 InfiniBand 低延迟网络。

在更新了更大数据集、更复杂模型的推荐系统测试里，业内甚至只有 NVIDIA 一家提交了有效成绩。

围绕在 NVIDIA 身边的生态伙伴也在这次评测里大秀肌肉。包括华硕、戴尔科技、技嘉、联想和云达科技在内的近十家系统厂商，共提交了超过 30 项基于 H100 的测试数据。

这些软硬件优化并非实验室特供。NVIDIA 表示，测试用到的全套优化软件都会沉淀到其 AI Enterprise 套件和 NGC 容器库中，任何人都可以复现相近的效率。

为什么重要

我们认为，这次评测最震撼的地方不在于单卡跑分有多高，而在于 3584 块卡能在云端像单台机器一样无缝协同。对正在自研大模型或做深度后训练的团队来说，这意味着漫长到令人心焦的模型迭代被大幅压缩，直接改变了工程探索的节奏。

从行业竞争来看，这几乎是一场断崖式的领先展示。在生成式 AI 和高负载推荐系统这类最烧钱、最关键的赛道上，其他芯片厂商连完整的参评成绩都没能交出来，导致买家在做采购决策时几乎没有横向对比的选择。

NVIDIA 这一步的聪明之处在于，它不仅卖卡，还死死卡住了高速互联网络与集群调度软件生态。当 CoreWeave 的云端算力跑得和本地超算一样快，其他试图用纸面算力竞争的专用芯片就很难在实际工程落地中占到便宜。

不过，这种全方位的软硬件捆绑也让整个行业对单一供应链的依赖达到了前所未有的程度。一旦算力供给受阻或网络方案被锁定，开发者和云厂商在成本和架构上的议价空间都将极为有限。