NVIDIA 发布 H200 GPU：首发 HBM3e，显存飙到 141GB

大模型跑得越来越大，显卡厂商最头疼的往往不是算力不够，而是显存塞不下、带宽跟不上。

NVIDIA 在 SC23 上拿出了 Hopper 架构的新王牌：HGX H200。这款 GPU 最亮眼的底牌，就是率先吃上了 HBM3e 高带宽显存。

显存翻倍，吞吐直接拉满

如果说 H100 是靠算力硬刚，那 H200 解决的就是喂不饱算力的数据堵塞问题。

它是第一款采用 HBM3e 的 GPU，单卡显存直接飙到 141GB，带宽达到每秒 4.8TB。拿大家熟悉的 A100 来比，显存容量差不多翻了一倍，带宽更是原来的 2.4 倍。

显存变大变快，直接体现就是跑大模型不用再把模型切得七零八落。在 700 亿参数的 Llama 2 推理测试里，H200 的速度比 H100 快了近一倍。

对于超过 1750 亿参数的超大模型，八卡连在一起的 HGX H200 能提供超过 32 petaflops 的 FP8 算力，以及总计 1.1TB 的统一高带宽显存。

更让数据中心运维松一口气的是，HGX H200 提供四路和八路配置，在硬件和软件层面完全兼容现有的 HGX H100 系统。各大服务器厂商的既有机架，基本拔下来换上就能用。

按照官方计划，H200 将在 2024 年第二季度开始出货。微软 Azure、亚马逊 AWS、Google Cloud 和甲骨文云，以及 CoreWeave、Lambda、Vultr 等 AI 算力云厂商都会首批上线。

为什么重要

我们认为，H200 这次升级非常聪明，它精准切中了当前大模型落地的最大痛点，也就是显存墙与推理成本。

对于开发者和企业来说，70B 参数模型刚好能更从容地塞进更少的卡里，推理速度翻倍意味着单次调用的电费和算力租赁成本直接减半。不过系统要到 2024 年第二季度才交付，现在手头有算力需求的人还得继续排队抢 H100。

对行业而言，NVIDIA 把竞争焦点从单纯的浮点算力拉到了显存带宽。在对手还在努力追赶 H100 产能和生态时，NVIDIA 用平滑兼容的改版进一步锁死了云厂商的采购预算。

看起来这步棋唯一的隐患还是供货。HBM3e 的良率和产能直接决定了它能不能按时大批量交货，如果供应链卡壳，纸面上的吞吐提升就很难立刻变成开发者手里的生产力。