NVIDIA 全面加速 Llama 3：单张 H200 跑 70B 每秒吐 3000 token
NVIDIA 宣布对 Meta 新发布的 Llama 3 进行全平台推理优化。测试显示，单张 H200 运行 700 亿参数版本时每秒生成约 3000 token，可同时服务约 300 名用户；80 亿参数版本也已适配 Jetson 和 RTX PC。开发者可直接通过 NIM 微服务在浏览器中试用。
NVIDIA H200
NVIDIA 发布 H200 GPU：首发 HBM3e，显存飙到 141GB
NVIDIA 正式推出 H200 GPU 及 HGX H200 平台。这是首款搭载 HBM3e 内存的 GPU，容量达 141GB、带宽达 4.8 TB/s。硬件兼容现有的 H100 系统，预计明年二季度开始由各大云厂商和服务器厂商出货。