MLPerf推論ベンチマーク公開：Nvidia H200が席巻、AMDは不参加

AI のベンチマーク結果が公表されるたび、最も注目を集めるのは誰が勝ったかではなく、誰が受験しなかったかです。

MLCommons が最新の MLPerf 推論ベンチマーク結果を発表しました。市場の関心が生成 AI へと移る中、今回は 700 億パラメータの Meta Llama 2 と Stable Diffusion の 2 つが新たな標準テストとして追加されました。

Nvidia は全 7 種のベンチマークすべてにスコアを提出し、投入間近の H200 で圧倒的な数字を記録しました。対する Intel も Gaudi2 と第 5 世代 Xeon を提出しましたが、期待されていた AMD の MI300 は今回も不参加となりました。

ソフトウェアの進化と大容量メモリの威力

大半の人はハードウェアの演算性能に目を奪われがちですが、推論処理のボトルネックはメモリ帯域とデータ転送にあります。

Nvidia はオープンソースの推論コンパイラ TensorRT-LLM の改良を進め、過去半年間で H100 における GPT-J の処理性能を約 3 倍に引き上げました。当初予告していた 2 倍の向上を上回る成果です。

141GB の広帯域メモリを積んだ H200 では、KV キャッシュの最適化が真価を発揮しました。比較対象となった Intel Gaudi2 に対し、H200 は約 4 倍の性能差をつけています。

また Nvidia は、同社のデータセンター事業の売上高の約 40% を推論処理が占めていることを明かしました。モデルが本番環境へ移行するにつれ、この割合はさらに拡大する見込みです。

Intel の対抗と AMD の不在

結果を提出した競合は Intel だけでした。AMD や Google が不参加だったため、Intel は Gaudi2 を H100 に対する唯一テスト済みの代替選択肢とアピールしています。

Intel は 1 ドルあたりの性能や総所有コストの優位性を強調しました。また第 5 世代 Xeon も第 4 世代比で AI 性能が平均 42% 向上しており、小規模モデル推論での実用性を示しています。

一方、AMD の再度の見送りは惜しまれます。市場では Blackwell が登場する前の今こそ H200 と比較すべき好機とみられていましたが、MI300 の割り当てを求める顧客向けの個別チューニングで手一杯だったと推測されています。

なぜ重要か

AI システムを導入する企業やエンジニアにとって、推論処理ではチップの単純な演算速度よりも、メモリ容量と最適化コンパイラの有無がコストを左右することが明確になりました。70B クラスのモデルを運用するなら、H200 の大容量メモリは導入価値が極めて高いと言えます。

業界全体で見れば、Nvidia のデータセンター売上の 40% を推論が占めたという事実は、競争の主戦場が学習から実運用へと完全に移ったことを示しています。

Intel の立ち回りは巧みだったと私たちは考えます。絶対性能で H200 に及ばないことを承知の上で数値を公開し、コスト重視の現実的な選択肢としてのポジションを確保しました。

その一方で、AMD やクラウド大手各社が公開テストに参加しない現状には懸念が残ると見られます。中立的な比較指標が不足したままでは、導入企業は秘密保持契約を結んで個別検証するしかなく、代替チップへの移行を遅らせる要因になり得ます。