The Vergeが探るAIの電力消費問題：排出超過の巨頭とテック界のジレンマ
The Vergeのポッドキャスト「Decoder」が、AI急増が気候変動に与える影響を分析しました。MicrosoftやGoogleがデータセンター増設で排出目標を超過する一方、高負荷な電力消費は動画配信やゲーム業界でも常態化しています。焦点はAIが消費するエネルギーに見合う価値があるかです。
Nvidia H100
NVIDIA、MetaのLlama 3を全プラットフォームで高速化
NVIDIAはMetaの最新LLM「Llama 3」に向けた推論最適化を発表した。H200 GPU単体で70Bモデルを実行した場合、毎秒約3000トークンを生成し、約300人の同時利用に対応可能。8BモデルはRTX PCやJetson Orinなどのエッジ端末にも対応する。
NVIDIAフアンCEO、AIの「第2の波」到来を語る：主権AIと産業活用が牽引
NVIDIAのジェンスン・フアンCEOは仏Scaleway主催のイベントで、AIは「主権AI」と産業普及を原動力とする第2の波を迎えていると語った。Scalewayは欧州企業向けに1016基のH100を積んだ新スパコン「Nabu」を稼働させ、現地データ規制に沿ったインフラを提供する。
NVIDIAがTensorRT-LLMを公開：H100推論性能が最大8倍に向上
NVIDIAはLLM推論を大幅に高速化するオープンソースライブラリ「TensorRT-LLM」を発表した。In-flight batchingやFP8量子化により、H100上でA100比最大8倍のスループットを達成し、Llama 2も4.6倍高速化する。Python APIを通じて手軽に並列処理を実装でき、データセンターの運用コスト削減に貢献する。
Google Cloud、NVIDIA H100搭載のA3インスタンスを一般提供開始
Google CloudはNVIDIA H100 GPUを搭載した新型A3インスタンスの一般提供を開始した。さらにPaxMLフレームワークのGPU対応やNGCコンテナ提供など、大規模モデル開発に向けた協業を強化している。