The Verge 探討 AI 能耗問題：巨頭排放超標，但耗電的不止大模型
The Verge 播客 Decoder 探討了 AI 激增對氣候危機的影響。隨著微軟、Google 等科技巨頭擴建資料中心，其碳排放目標紛紛超標，但高功耗在流媒體和遊戲產業同樣普遍。核心爭議在於，我們該如何權衡 AI 消耗的能源到底值不值。
Nvidia H100
NVIDIA 全面加速 Llama 3：單張 H200 跑 70B 每秒吐 3000 token
NVIDIA 宣佈對 Meta 新發布的 Llama 3 進行全平臺推理最佳化。測試顯示，單張 H200 執行 700 億引數版本時每秒生成約 3000 token，可同時服務約 300 名使用者；80 億引數版本也已適配 Jetson 和 RTX PC。開發者可直接通過 NIM 微服務在瀏覽器中試用。
黃仁勳稱 AI 迎來第二波浪潮：主權 AI 與行業落地成核心驅動力
NVIDIA CEO 黃仁勳在法國 Scaleway 大會上指出，AI 正迎來由「主權 AI」與行業落地推動的第二波浪潮。Scaleway 藉機上線了搭載 1016 塊 H100 的本土超算 Nabu，為歐洲初創團隊提供合規算力支援。
NVIDIA 開源 TensorRT-LLM：H100 推理吞吐翻 8 倍
NVIDIA 推出開源庫 TensorRT-LLM，專為加速大語言模型推理設計。它引入動態組批與 FP8 精度，在 H100 上相比 A100 帶來最高 8 倍吞吐提升，Llama 2 推理提速 4.6 倍。開發者通過 Python API 即可呼叫底層並行最佳化，大幅降低算力與電費支出。
Google Cloud 聯手輝達：搭載 H100 的 A3 例項正式商用
Google Cloud 宣佈搭載 NVIDIA H100 GPU 的 A3 例項正式商用。雙方同時深化了軟體層面的合作，支援 PaxML 框架利用輝達 GPU 進行加速並上線 NGC 容器庫，以滿足大模型暴漲的算力需求。