NVIDIA、MLPerf Training v5.1で全7項目制覇　Blackwell Ultraが初登場

超巨大モデルの学習といえば、かつては数週間から数か月単位で待つのが当たり前でした。しかしNVIDIAが提示した最新データは、その待ち時間をコーヒーを飲むほどの短さに縮めてみせました。

AI学習性能の業界標準ベンチマークであるMLPerf Training v5.1において、NVIDIAは全7項目のテストすべてで首位を獲得しました。大規模言語モデルから画像生成、推薦システム、グラフニューラルネットワークに至るまで最短の学習時間を記録しただけでなく、全項目に結果を提出した唯一のプラットフォームとなりました。

Blackwell Ultra初投入、訓練にFP4を実戦投入

今回の主役は、Blackwell Ultraアーキテクチャを採用したラック規模システム「GB300 NVL72」です。推論ベンチマークでの記録更新に続き、学習ベンチマークでも初登場を果たしました。

同数のGPUで比較した場合、前世代のHopperアーキテクチャと比べて、Llama 3.1 405Bの事前学習性能は4倍以上、Llama 2 70BのLoRAファインチューニング性能は5倍近くに達しました。

スペック面でも、279GBのHBM3eメモリや前世代比2倍のアテンション層演算能力、15ペタフロップスのNVFP4演算性能を持つ新しいTensorコアを搭載しています。さらに、初採用となったQuantum-X800 InfiniBandプラットフォームにより、スケールアウト帯域幅も前世代の2倍となる800Gb/sに引き上げられました。

技術的に最も注目すべきは、MLPerf Training史上初となる「NVFP4精度」を用いた計算です。ビット数を減らせば処理は高速化しますが、情報量が減るため学習時の精度維持が極めて難しくなります。Blackwell UltraはFP4の演算速度をFP8比で3倍に高めており、NVIDIAは厳しい精度要件をクリアしながらFP4で学習結果を提出した唯一のベンダーとなりました。

5000基超のGPUで405Bモデルを10分で学習

クラスタの大規模化テストでは、5000基以上のBlackwell GPUを連携させ、Llama 3.1 405Bの学習をわずか10分で完了させました。これは前回ラウンドのBlackwell最高記録と比べて2.7倍の速度です。

新設されたベンチマークでも記録を塗り替えました。長年使われてきたBERT-largeに代わり導入されたLlama 3.1 8Bでは、512基のBlackwell Ultraを使い5.2分で完了しました。また、Stable Diffusion v2に代わって採用された画像生成モデルFLUX.1では、全参加者の中で唯一NVIDIAのみが結果を提出し、1152基のGPUで12.5分という記録を打ち立てました。

デル、HPE、レノボ、Supermicroなど15のパートナー組織も同プラットフォームを使った結果を提出しています。

なぜ重要か

フロンティアモデルを開発する企業や研究者にとって、学習が10分台で完了するという事実は、モデル開発の試行錯誤サイクルを劇的に変えます。これまでは失敗した際の金銭的・時間的リスクが重すぎましたが、同一GPU数で4倍から5倍の性能が出るなら、微調や実験の敷居は大幅に下がります。

業界全体への影響として見逃せないのは、NVIDIAが「学習におけるFP4の実用性」を証明した点です。競合各社がFP8やFP16での安定運用を追うなか、さらに低いビット精度で精度の劣化を起こさずにやり切ったことは、他社との技術格差を一段と広げる結果になります。

一方で、この驚異的な性能はGB300 NVL72ラックやQuantum-X800ネットワークといった「NVIDIAフルスタック」を丸ごと導入することを前提としています。私たちは、顧客がこの圧倒的な性能を享受する代償として、ハードから通信、独自フォーマットに至るまで、NVIDIAエコシステムへの依存度がこれまで以上に強まるリスクを抱えることになると考えています。