NVIDIA 釋出 H200 GPU：首發 HBM3e，視訊記憶體飆到 141GB

大模型跑得越來越大，顯示卡廠商最頭疼的往往不是算力不夠，而是視訊記憶體塞不下、頻寬跟不上。

NVIDIA 在 SC23 上拿出了 Hopper 架構的新王牌：HGX H200。這款 GPU 最亮眼的底牌，就是率先吃上了 HBM3e 高頻寬視訊記憶體。

視訊記憶體翻倍，吞吐直接拉滿

如果說 H100 是靠算力硬剛，那 H200 解決的就是喂不飽算力的資料堵塞問題。

它是第一款採用 HBM3e 的 GPU，單卡視訊記憶體直接飆到 141GB，頻寬達到每秒 4.8TB。拿大家熟悉的 A100 來比，視訊記憶體容量差不多翻了一倍，頻寬更是原來的 2.4 倍。

視訊記憶體變大變快，直接體現就是跑大模型不用再把模型切得七零八落。在 700 億引數的 Llama 2 推理測試裡，H200 的速度比 H100 快了近一倍。

對於超過 1750 億引數的超大模型，八卡連在一起的 HGX H200 能提供超過 32 petaflops 的 FP8 算力，以及總計 1.1TB 的統一高頻寬視訊記憶體。

更讓資料中心運維鬆一口氣的是，HGX H200 提供四路和八路配置，在硬體和軟體層面完全相容現有的 HGX H100 系統。各大伺服器廠商的既有機架，基本拔下來換上就能用。

按照官方計劃，H200 將在 2024 年第二季度開始出貨。微軟 Azure、亞馬遜 AWS、Google Cloud 和甲骨文雲，以及 CoreWeave、Lambda、Vultr 等 AI 算力雲廠商都會首批上線。

為什麼重要

我們認為，H200 這次升級非常聰明，它精準切中了當前大模型落地的最大痛點，也就是視訊記憶體牆與推理成本。

對於開發者和企業來說，70B 引數模型剛好能更從容地塞進更少的卡里，推理速度翻倍意味著單次呼叫的電費和算力租賃成本直接減半。不過系統要到 2024 年第二季度才交付，現在手頭有算力需求的人還得繼續排隊搶 H100。

對行業而言，NVIDIA 把競爭焦點從單純的浮點算力拉到了視訊記憶體頻寬。在對手還在努力追趕 H100 產能和生態時，NVIDIA 用平滑相容的改版進一步鎖死了雲廠商的採購預算。

看起來這步棋唯一的隱患還是供貨。HBM3e 的良率和產能直接決定了它能不能按時大批次交貨，如果供應鏈卡殼，紙面上的吞吐提升就很難立刻變成開發者手裡的生產力。