MLPerf 推理基準出爐：Nvidia H200 霸榜，AMD 再次缺席

AI 圈每次放榜跑分，最耐人尋味的往往不是誰拿了第一，而是誰根本沒敢來考場。

在最新一期 MLCommons 公佈的 MLPerf 推理測試裡，輝達再次在全部七個測試專案中交出了答卷。更關鍵的是，這次測試的標準明顯倒向了生成式 AI，直接拉入了 700 億引數的 Meta Llama 2 和文生圖模型 Stable Diffusion。

面對這場大考，輝達拿出了還沒正式商用交付的 H200 晶片，英特爾帶著 Gaudi2 和第五代至強處理器應戰，而備受期待的 AMD MI300 卻再次缺席。

堆記憶體與做軟體，輝達的組合拳

很多人以為大模型比拼的就是純算力，但在推理端，瓶頸往往卡在視訊記憶體頻寬和資料搬運上。

輝達這次的成績單，很大一部分歸功於開源推理編譯器 TensorRT-LLM。在 GPT-J 模型上，僅僅靠軟體迭代，過去六個月裡 H100 的推理效能就翻了將近三倍，遠超官方最初兩倍的預估。

到了擁有 141GB 視訊記憶體的 H200 上，大視訊記憶體配合鍵值快取最佳化，直接讓效能發揮到了極致。在測試中，H200 的表現直接拉開了英特爾 Gaudi2 四倍的差距。

輝達也在溝通會上透露，目前推理業務已經佔到其資料中心總收入的 40% 左右。隨著越來越多生成式 AI 模型投入實際生產，這個比例只升不降。

英特爾咬牙交卷，AMD 在忙什麼

全場唯一願意和輝達正面對比的晶片廠商只有英特爾。因為 AMD 和谷歌都沒提交成績，英特爾順理成章自稱是市面上唯一經過公開基準測試的 H100 替代方案。

英特爾強調 Gaudi2 在每美元效能上更划算，能幫客戶壓縮總體擁有成本。此外，第五代至強 CPU 的 AI 推理效能比上一代提升了 42%，在小模型和特定量化場景下依然有一席之地。

至於 AMD，外界原本期待它能借著 MI300 揚眉吐氣。畢竟對比即將登場的 Blackwell 怪物，現在和 H200 比拼還不至於輸得太難看。

業內分析認為，AMD 缺席大機率是因為正忙著給排隊搶購 MI300 的客戶做定製工作負載最佳化，實在騰不出精力配合標準跑分。

為什麼重要

對於正在採購算力的企業和開發者來說，現在選型不需要只看峰值算力，視訊記憶體容量和編譯器成熟度才是決定上線成本的關鍵。H200 證明了多出來的視訊記憶體能大幅降低推理單價，如果你的業務需要常駐大引數量模型，它顯然比 H100 更值得等一等。

對整個行業而言，這說明大模型競爭的重心已經從訓練轉向推理。輝達資料中心 40% 的收入來自推理，意味著誰在推理成本上建立優勢，誰就能拿下未來幾年的企業級市場。

我們認為，英特爾敢於把 Gaudi2 拉出來公開測試是聰明的做法。即便絕對效能被 H200 甩開，但它打出了價效比這張底牌，成了買不到或租不起輝達晶片時的現實選擇。

看起來真正讓人擔憂的反而是開源跑分生態本身。AMD、谷歌、高通和各大雲廠商的集體缺席，讓原本中立的 MLPerf 越來越像輝達的獨角戲。缺少充分的橫向對比，買家最終只能依賴廠商簽署保密協議後的私下測試，這也無形中延緩了市場對替代方案的接納。