NVIDIA H100 登頂 MLPerf 榜單：3584 塊卡不到 11 分鐘跑完 GPT-3 訓練

想要訓練一個 GPT-3 級別的大語言模型，以往需要數週甚至數月的算力排程。現在這個週期被壓縮到了以分鐘計算。

權威基準評測機構釋出了最新的 MLPerf 訓練榜單。NVIDIA 的 H100 Tensor Core GPU 包攬了全部 8 項測試的效能第一，並在最新加入的生成式 AI 測試中拿出了亮眼的資料。

在由初創公司 Inflection AI 參與聯合開發、算力雲服務商 CoreWeave 運營的叢集上，3584 塊 H100 GPU 聯手執行基於 GPT-3 的大模型訓練基準，耗時不到 11 分鐘。

幾乎獨吞的榜單與上千張卡的線性擴充套件

這次 MLPerf 最大的看點就是生成式 AI 測試的亮相，而 H100 成了全場唯一跑完所有 8 個測試專案的晶片。從大語言模型、推薦系統，到計算機視覺、醫療影像和語音識別，無一例外重新整理了紀錄。

更值得關注的是大規模擴充套件能力。當叢集規模從數百塊 H100 擴充套件到數千塊時，整個系統的算力呈現出近乎線性的增長。

另外，CoreWeave 在雲端跑出的成績，幾乎追平了 NVIDIA 自己在本地資料中心專屬 AI 超算上的水準。這在很大程度上歸功於其採用的 NVIDIA Quantum-2 InfiniBand 低延遲網路。

在更新了更大數據集、更復雜模型的推薦系統測試裡，業內甚至只有 NVIDIA 一家提交了有效成績。

圍繞在 NVIDIA 身邊的生態夥伴也在這次評測裡大秀肌肉。包括華碩、戴爾科技、技嘉、聯想和雲達科技在內的近十家系統廠商，共提交了超過 30 項基於 H100 的測試資料。

這些軟硬體最佳化並非實驗室特供。NVIDIA 表示，測試用到的全套最佳化軟體都會沉澱到其 AI Enterprise 套件和 NGC 容器庫中，任何人都可以復現相近的效率。

為什麼重要

我們認為，這次評測最震撼的地方不在於單卡跑分有多高，而在於 3584 塊卡能在雲端像單臺機器一樣無縫協同。對正在自研大模型或做深度後訓練的團隊來說，這意味著漫長到令人心焦的模型迭代被大幅壓縮，直接改變了工程探索的節奏。

從行業競爭來看，這幾乎是一場斷崖式的領先展示。在生成式 AI 和高負載推薦系統這類最燒錢、最關鍵的賽道上，其他晶片廠商連完整的參評成績都沒能交出來，導致買家在做採購決策時幾乎沒有橫向對比的選擇。

NVIDIA 這一步的聰明之處在於，它不僅賣卡，還死死卡住了高速網際網路與叢集排程軟體生態。當 CoreWeave 的雲端算力跑得和本地超算一樣快，其他試圖用紙面算力競爭的專用晶片就很難在實際工程落地中佔到便宜。

不過，這種全方位的軟硬體捆綁也讓整個行業對單一供應鏈的依賴達到了前所未有的程度。一旦算力供給受阻或網路方案被鎖定，開發者和雲廠商在成本和架構上的議價空間都將極為有限。