NVIDIA、MetaのLlama 3を全プラットフォームで高速化
NVIDIAはMetaの最新LLM「Llama 3」に向けた推論最適化を発表した。H200 GPU単体で70Bモデルを実行した場合、毎秒約3000トークンを生成し、約300人の同時利用に対応可能。8BモデルはRTX PCやJetson Orinなどのエッジ端末にも対応する。
NVIDIA H200
NVIDIA、HBM3e搭載の「H200」GPUを発表 メモリ141GBで帯域幅4.8TB/s
NVIDIAはHopperアーキテクチャを採用した「H200 Tensor Core GPU」を発表した。HBM3eメモリを世界で初めて搭載し、容量141GB、帯域幅4.8TB/sを実現。現行のH100システムと互換性があり、来年第2四半期に出荷が始まる予定だ。