NVIDIA、MetaのLlama 3を全プラットフォームで高速化

Metaが最新の大規模言語モデル「Llama 3」を発表した直後、NVIDIAは即座にクラウドからエッジ、PCに至る全プラットフォームでの推論最適化を発表しました。

フロンティアモデルの競争は、モデル自体の性能だけでなく、いかに低遅延かつ低コストで運用できるかという実稼働フェーズに移行しています。

H100を2.4万基で学習、H200単体で300人を同時処理

NVIDIAによると、Metaは24,576基のNVIDIA H100 GPUとQuantum-2 InfiniBandなどのネットワークを用いてLlama 3をトレーニングしました。Metaは今後、インフラを35万基のH100規模にまで拡張する計画を立てています。

一方で推論側の数字も際立っています。人間の平均読書速度は毎秒約10トークンで、快適なチャットボットにはその約2倍の速度が求められます。

初期テストにおいて、単体のNVIDIA H200 GPUで70BパラメータのLlama 3を動かした場合、毎秒約3,000トークンを生成できました。これは1枚のGPUで約300人の同時アクセスを処理できる計算になります。

8基のH200を搭載した単一のHGXサーバーであれば、毎秒24,000トークンに達し、2,400人以上のユーザーを同時にサポート可能です。

ロボット向けエッジ端末や1億台のRTX PCにも対応

データセンター向けだけでなく、軽量な8Bモデルはエッジ端末やPC環境にも展開されます。

ロボティクス向けデバイスのJetson AGX Orinでは毎秒最大40トークン、より小型のJetson Orin Nanoでも毎秒15トークンを記録し、ローカルエージェントとして実用的な速度を確保しました。

開発者はai.nvidia.comを通じてNIMマイクロサービス形式のLlama 3をブラウザから試すことができます。企業はNeMoで微調整を行い、TensorRT-LLMで最適化した上で、世界に1億台以上存在するRTX搭載PCやワークステーションへ展開することが可能です。

なぜ重要か

NVIDIAの狙いは、学習市場だけでなく推論市場でも他社製チップの参入を許さない体制を固めることにあると見られます。

これまでオープンモデルの運用には膨大なサーバーコストが課題とされてきましたが、HGXサーバー1台で2,400人の同時利用を捌けるとなれば、70Bクラスの商用運用の敷居は一気に下がります。

開発者や企業にとっては、自社の機密データをクラウドAPIに送ることなく、手元のRTX搭載マシンや小規模サーバーで実用的なモデルを安価に動かせる選択肢が整った形です。

ただし、NIMやTensorRT-LLMといったNVIDIA独自のソフトウェアスタックに最適化が進むほど、開発者が将来的に非NVIDIA環境へ移行する難易度がさらに上がるという側面も抱えています。