NVIDIA H100 登顶 MLPerf 榜单:3584 块卡不到 11 分钟跑完 GPT-3 训练
NVIDIA 宣布 H100 GPU 在最新 MLPerf 训练基准测试中包揽全部 8 项纪录。由 CoreWeave 搭建的 3584 块 H100 集群在不到 11 分钟内跑完了 GPT-3 测试。这展现了大集群上近乎线性的扩展能力,也进一步稳固了其在大模型训练算力上的统治地位。
NVIDIA 宣布 H100 GPU 在最新 MLPerf 训练基准测试中包揽全部 8 项纪录。由 CoreWeave 搭建的 3584 块 H100 集群在不到 11 分钟内跑完了 GPT-3 测试。这展现了大集群上近乎线性的扩展能力,也进一步稳固了其在大模型训练算力上的统治地位。