The Verge 探讨 AI 能耗问题：巨头排放超标，但耗电的不止大模型
The Verge 播客 Decoder 探讨了 AI 激增对气候危机的影响。随着微软、Google 等科技巨头扩建数据中心，其碳排放目标纷纷超标，但高功耗在流媒体和游戏产业同样普遍。核心争议在于，我们该如何权衡 AI 消耗的能源到底值不值。
Nvidia H100
NVIDIA 全面加速 Llama 3：单张 H200 跑 70B 每秒吐 3000 token
NVIDIA 宣布对 Meta 新发布的 Llama 3 进行全平台推理优化。测试显示，单张 H200 运行 700 亿参数版本时每秒生成约 3000 token，可同时服务约 300 名用户；80 亿参数版本也已适配 Jetson 和 RTX PC。开发者可直接通过 NIM 微服务在浏览器中试用。
黄仁勋称 AI 迎来第二波浪潮：主权 AI 与行业落地成核心驱动力
NVIDIA CEO 黄仁勋在法国 Scaleway 大会上指出，AI 正迎来由「主权 AI」与行业落地推动的第二波浪潮。Scaleway 借机上线了搭载 1016 块 H100 的本土超算 Nabu，为欧洲初创团队提供合规算力支持。
NVIDIA 开源 TensorRT-LLM：H100 推理吞吐翻 8 倍
NVIDIA 推出开源库 TensorRT-LLM，专为加速大语言模型推理设计。它引入动态组批与 FP8 精度，在 H100 上相比 A100 带来最高 8 倍吞吐提升，Llama 2 推理提速 4.6 倍。开发者通过 Python API 即可调用底层并行优化，大幅降低算力与电费支出。
Google Cloud 联手英伟达：搭载 H100 的 A3 实例正式商用
Google Cloud 宣布搭载 NVIDIA H100 GPU 的 A3 实例正式商用。双方同时深化了软件层面的合作，支持 PaxML 框架利用英伟达 GPU 进行加速并上线 NGC 容器库，以满足大模型暴涨的算力需求。