MLPerf 推理基准出炉：Nvidia H200 霸榜，AMD 再次缺席

AI 圈每次放榜跑分，最耐人寻味的往往不是谁拿了第一，而是谁根本没敢来考场。

在最新一期 MLCommons 公布的 MLPerf 推理测试里，英伟达再次在全部七个测试项目中交出了答卷。更关键的是，这次测试的标准明显倒向了生成式 AI，直接拉入了 700 亿参数的 Meta Llama 2 和文生图模型 Stable Diffusion。

面对这场大考，英伟达拿出了还没正式商用交付的 H200 芯片，英特尔带着 Gaudi2 和第五代至强处理器应战，而备受期待的 AMD MI300 却再次缺席。

堆内存与做软件，英伟达的组合拳

很多人以为大模型比拼的就是纯算力，但在推理端，瓶颈往往卡在显存带宽和数据搬运上。

英伟达这次的成绩单，很大一部分归功于开源推理编译器 TensorRT-LLM。在 GPT-J 模型上，仅仅靠软件迭代，过去六个月里 H100 的推理性能就翻了将近三倍，远超官方最初两倍的预估。

到了拥有 141GB 显存的 H200 上，大显存配合键值缓存优化，直接让性能发挥到了极致。在测试中，H200 的表现直接拉开了英特尔 Gaudi2 四倍的差距。

英伟达也在沟通会上透露，目前推理业务已经占到其数据中心总收入的 40% 左右。随着越来越多生成式 AI 模型投入实际生产，这个比例只升不降。

英特尔咬牙交卷，AMD 在忙什么

全场唯一愿意和英伟达正面对比的芯片厂商只有英特尔。因为 AMD 和谷歌都没提交成绩，英特尔顺理成章自称是市面上唯一经过公开基准测试的 H100 替代方案。

英特尔强调 Gaudi2 在每美元性能上更划算，能帮客户压缩总体拥有成本。此外，第五代至强 CPU 的 AI 推理性能比上一代提升了 42%，在小模型和特定量化场景下依然有一席之地。

至于 AMD，外界原本期待它能借着 MI300 扬眉吐气。毕竟对比即将登场的 Blackwell 怪物，现在和 H200 比拼还不至于输得太难看。

业内分析认为，AMD 缺席大概率是因为正忙着给排队抢购 MI300 的客户做定制工作负载优化，实在腾不出精力配合标准跑分。

为什么重要

对于正在采购算力的企业和开发者来说，现在选型不需要只看峰值算力，显存容量和编译器成熟度才是决定上线成本的关键。H200 证明了多出来的显存能大幅降低推理单价，如果你的业务需要常驻大参数量模型，它显然比 H100 更值得等一等。

对整个行业而言，这说明大模型竞争的重心已经从训练转向推理。英伟达数据中心 40% 的收入来自推理，意味着谁在推理成本上建立优势，谁就能拿下未来几年的企业级市场。

我们认为，英特尔敢于把 Gaudi2 拉出来公开测试是聪明的做法。即便绝对性能被 H200 甩开，但它打出了性价比这张底牌，成了买不到或租不起英伟达芯片时的现实选择。

看起来真正让人担忧的反而是开源跑分生态本身。AMD、谷歌、高通和各大云厂商的集体缺席，让原本中立的 MLPerf 越来越像英伟达的独角戏。缺少充分的横向对比，买家最终只能依赖厂商签署保密协议后的私下测试，这也无形中延缓了市场对替代方案的接纳。