NVIDIAの「H100」、MLPerf学習ベンチ全8項目で新記録　GPT-3を11分足らずで完了

GPT-3 クラスの大規模言語モデルの学習といえば、かつては膨大な計算リソースを何日も稼働させ続けるのが当たり前でした。しかし今、その所要時間はわずか数分にまで短縮されようとしています。

NVIDIA は 6 月 27 日、最新の MLPerf Training ベンチマークにおいて、同社の H100 Tensor Core GPU が全 8 項目ですべての記録を更新したと発表しました。今回から新たに追加された生成 AI 向けテストでも、圧倒的なスコアを叩き出しています。

特に目を引くのは、スタートアップの Inflection AI と GPU クラウドプロバイダーの CoreWeave が共同で構築した商用環境での成果です。3,584 基の H100 を連携させたクラスタ環境において、GPT-3 ベースのトレーニングベンチマークを 11 分未満で完了させました。

3,500 基超のクラスタでもほぼリニアにスケール

今回の結果で特筆すべきは、単体チップの処理速度だけでなく、大規模環境におけるスケーラビリティの高さです。数百基から数千基へと H100 の稼働規模を拡大しても、処理性能はほぼリニアに向上しました。

さらに CoreWeave は、NVIDIA の Quantum-2 InfiniBand 超低遅延ネットワークを活用することで、パブリッククラウド環境でありながらオンプレミスの AI スーパーコンピュータに匹敵する性能を引き出せることを証明しました。

また、H100 は大規模言語モデル、画像認識、音声認識、医療画像など、今回の全 8 テストすべてを完走した唯一のチップとなりました。データセットが大型化された推薦システムのテストに至っては、有効な結果を提出できたのは NVIDIA だけでした。

エコシステムの広がりも顕著です。ASUS、Dell Technologies、GIGABYTE、Lenovo、QCT といった主要サーバーメーカーが参加し、H100 を採用した提出データは 30 件を超えました。

なぜ重要か

今回の発表で最も注目すべきは、数千基規模の GPU クラスタをクラウド上で同期させ、無駄なく性能を引き出せる実用性が公に実証された点にあると私たちは考えます。自社モデルの学習やファインチューニングを行う開発組織にとって、学習サイクルの極端な短縮は研究開発スピードそのものを左右します。

業界全体で見れば、NVIDIA と競合他社との差が改めて浮き彫りになりました。生成 AI という最重要分野で他社が検証可能なベンチマークを提出できていない現状では、企業の調達先として実質的な一強状態が続くことになります。

GPU 本体の演算能力だけでなく、InfiniBand による高速インターコネクトや NGC ソフトウェア群を含めたトータルシステムとして提供する戦略は極めて巧妙です。一方で、AI インフラ全体が単一ベンダーの仕様と供給能力に過度に依存するリスクは、今後さらに強まっていくとみられます。