NVIDIA、HBM3e搭載の「H200」GPUを発表　メモリ141GBで帯域幅4.8TB/s

大規模言語モデルの運用で最も頭を悩ませるのは、演算性能そのものよりもメモリー容量と帯域幅の不足です。

NVIDIA は SC23 にて、Hopper アーキテクチャをベースにした最新アクセラレーター「HGX H200」を発表しました。エンタープライズ向け GPU として初めて HBM3e メモリーを搭載した点が最大の特徴です。

メモリー帯域を大幅強化した新構成

H200 は 141GB の HBM3e メモリーを搭載し、毎秒 4.8TB という圧倒的な帯域幅を実現しています。前世代の A100 と比較すると、容量は約 2 倍、帯域幅は 2.4 倍に達します。

このメモリー強化は推論性能に直結します。700 億パラメータの Llama 2 における推論速度は、現行の H100 と比較して約 2 倍に向上するとされています。

1750 億パラメータを超えるような巨大モデル向けには、8 基の H200 を連結した HGX H200 が用意され、FP8 演算で 32 ペタフロップス以上の性能と合計 1.1TB の広帯域メモリーを提供します。

データセンターの運用面でも配慮されています。HGX H200 は既存の HGX H100 システムとハードウェアおよびソフトウェアの両面で互換性を維持しており、サーバーメーカーは既存の設計を流用できます。

出荷開始は 2024 年第 2 四半期を予定しています。AWS、Google Cloud、Microsoft Azure、Oracle Cloud Infrastructure など主要クラウド各社が順次導入を進める見通しです。

なぜ重要か

今回の H200 投入は、生成 AI 運用の最大の課題である推論コストとメモリーの壁を的確に突いた巧みな一手だと考えます。

開発者や運用チームにとっては、大規模モデルの分割数を減らし、1 トークンあたりの処理コストを大幅に下げられるメリットがあります。ただし出荷は 2024 年第 2 四半期からとなるため、足元でリソース不足に直面している現場がすぐに恩恵を受けられるわけではありません。

業界全体から見ると、NVIDIA は競合が H100 の追撃に注力している隙に、メモリー帯域の優位性でさらに差を広げました。ボード設計の互換性を保ったことで、クラウド事業者が他社製チップへ乗り換えるハードルを一段と高くしています。

懸念点があるとすれば HBM3e の供給体制でしょう。最先端メモリーの歩留まりとパッケージング能力が追いつかなければ、旺盛な需要を前に再び供給制限が発生するリスクは残されています。