NVIDIA Blackwell UltraがMLPerfで首位独占：R1推論でHopperの5倍に

大規模言語モデルが賢くなるにつれて、推論に必要な計算リソースは膨れ上がる一方です。特にDeepSeek-R1のような推論特化型モデルは、最終的な回答を出す前に膨大な中間トークンを生成するため、サーバーへの負荷が跳ね上がります。

こうしたなか、業界標準の性能測定団体MLCommonsが9月9日にMLPerf Inference v5.1の最新結果を公開しました。3月に発表されたNVIDIAの最新アーキテクチャ「Blackwell Ultra」を搭載したラック規模システムGB300 NVL72が初参戦し、推論記録を大幅に更新しました。

DeepSeek-R1で前世代比45％の性能向上

今回のMLPerf v5.1では、6710億パラメータのMoE推論モデルDeepSeek-R1をはじめ、Llama 3.1 405Bの対話型シナリオ、Llama 3.1 8B、音声認識のWhisperなど、近年の実運用に即したテストが追加されました。

DeepSeek-R1のオフラインテストにおいて、GB300 NVL72はGPU1基あたり毎秒5842トークンを達成しました。半年前のv5.0で登場した通常版Blackwell搭載のGB200 NVL72と比較して45％向上し、サーバーシナリオでも25％高速化しています。Hopper世代のDGX H200と比較すると、GPUあたりのスループットは約5倍に達します。

Blackwell Ultraは、GPUあたり最大288GBのHBM3eメモリを搭載し、ベースのBlackwellと比べてNVFP4計算性能が1.5倍、アテンション層のアクセラレーションが2倍に強化されています。

4ビット量子化と高度な並列処理

性能向上の背景には、ハードウェアだけでなくソフトウェアスタックの徹底した最適化があります。NVIDIAはTensorRT Model Optimizerを用いて、通常FP8で保存されるDeepSeek-R1の重みの大部分を独自フォーマットのNVFP4に量子化しました。

さらに、通常BF16で保持されるKVキャッシュをFP8に圧縮したほか、MoE特有の負荷の偏りを解消するために、エキスパート並列とアテンションデータ並列を組み合わせたADP Balance技術を導入しました。

また、Llama 3.1 405Bのテストでは、コンテキスト処理とトークン生成を物理的に分離するディスアグリゲーテッドサービングを採用し、従来の提供手法と比べてGPUあたり47％の性能向上を記録しています。

なぜ重要か

AI運用の主戦場が学習から推論へと移るなかで、今回の結果はAIファクトリーの経済性に直結します。推論トークンあたりのコストをいかに下げるかが、サービスの収益性を左右するからです。

大規模な推論モデルを運用する企業や開発者にとって、GB300 NVL72の登場はサーバー台数や消費電力の大幅な削減を意味します。AzureやCoreWeave、Oracleといったクラウド事業者が導入を進めることで、DeepSeek-R1やLlama 3.1 405Bクラスの超巨大モデルを実務で運用するハードルは一気に下がるはずです。

競合他社に対するNVIDIAの強みは、単なるチップの性能差ではなく、NVFP4やNVLink、各種並列化ライブラリを組み合わせた垂直統合の完成度にあります。ただし、NVFP4などの独自技術に最適化を依存するほど、他社製ハードウェアへの乗り換えコストが高まるベンダーロックインの懸念も依然として残ります。