NVIDIA 全面加速 Llama 3：單張 H200 跑 70B 每秒吐 3000 token
NVIDIA 宣佈對 Meta 新發布的 Llama 3 進行全平臺推理最佳化。測試顯示，單張 H200 執行 700 億引數版本時每秒生成約 3000 token，可同時服務約 300 名使用者；80 億引數版本也已適配 Jetson 和 RTX PC。開發者可直接通過 NIM 微服務在瀏覽器中試用。
NVIDIA H200
NVIDIA 釋出 H200 GPU：首發 HBM3e，視訊記憶體飆到 141GB
NVIDIA 正式推出 H200 GPU 及 HGX H200 平臺。這是首款搭載 HBM3e 記憶體的 GPU，容量達 141GB、頻寬達 4.8 TB/s。硬體相容現有的 H100 系統，預計明年二季度開始由各大雲廠商和伺服器廠商出貨。