NVIDIA、新アーキテクチャ「Blackwell」発表:推論性能5倍で兆単位モデル時代へ
NVIDIAのジェンスン・フアンCEOがGTC 2024で次世代計算プラットフォーム「Blackwell」を発表した。兆単位パラメータモデル向けに設計され、前世代Hopper比でFP4推論性能が5倍、訓練性能が2.5倍に向上。ソフトウェア展開を簡素化する「NIM」も披露した。汎用計算の限界を超え、生成AI向けインフラの主導権をさらに強める構えだ。
ジェンスン・フアンCEOがポケットから黒いプロセッサを取り出し、2年前に発表したHopperと並べて掲げました。Hopperが小さく見えるほどの巨大な新チップが、次世代プラットフォームのBlackwellです。
会場となったSAPセンターには1万2000人を超える開発者や企業幹部が集まりました。フアン氏は、汎用コンピューティングは限界を迎えたと宣言し、兆単位のパラメータを持つ生成AI時代に向けた計算基盤を提示しました。
1ラックでエクサフロップスに到達
Blackwellは、数学者デイヴィッド・ハロルド・ブラックウェルにちなんで名付けられました。チップ単体でHopper比2.5倍のFP8学習性能、FP4推論性能では5倍の処理能力を発揮します。
これらを束ねる第5世代NVLinkは前世代の2倍の帯域幅を持ち、最大576基のGPUを接続可能です。帯域幅1.8TB/sを誇る専用のNVLink Switchチップも新たに投入されました。
中核となるGB200 Grace Blackwell Superchipは、2基のBlackwell GPUと1基のGrace CPUを900GB/sの低消費電力インターコネクトで直結した構成です。
これらを水冷ラックにまとめたGB200 NVL72は、重さ約1.3トン、60万点の部品で構成されています。単一ラックでありながら、FP4精度で1.4エクサフロップスの推論性能をたたき出します。さらに上位のDGX SuperPODでは11.5エクサフロップスに達します。
コード作成からAIチームの編成へ
基調講演では、ソフトウェア配信の新たな仕組みとしてNVIDIA NIMも発表されました。推論マイクロサービスを意味するパッケージです。
フアン氏は、将来のソフトウェア開発はゼロからPythonコードを書くのではなく、複数のAIモデルをチームのように組み合わせて指示を出す形になると説明しました。
NIMは標準APIをサポートしており、既存のCUDA環境で安全に動作します。企業は自社データを使った専用アシスタントを容易に構築できるようになります。
半導体製造の分野では、TSMCおよびSynopsysと連携した計算リソグラフィ基盤cuLithoの量産導入が発表され、最も計算負荷の高い工程を40倍から60倍高速化すると示されました。
なぜ重要か
開発者や導入企業にとって、推論性能が5倍に向上したことは運用コストの大幅な削減を意味します。これまで採算が合わなかった超大規模モデルの実用化が一気に現実味を帯びてきます。
業界全体で見れば、NVIDIAは単体チップの性能競争から、水冷ラックや通信スイッチ、ソフトウェア流通までを束ねたデータセンター全体の垂直統合へ戦場を移しました。他社のアクセラレータ単体で追いつくことは極めて困難になりつつあります。
この戦略は盤石に見える一方、インフラ側の受け入れ負荷という課題もあります。重量約1.3トンの水冷ラックを常時稼働させるには施設側の大規模改修が不可欠であり、導入できるデータセンターが当面は大手クラウド事業者に限られる可能性が高いと私たちは考えます。
情報源 (2)
- blogs.nvidia.com(新しいタブで開きます)原文blogs.nvidia.com
- venturebeat.com(新しいタブで開きます)報道venturebeat.com