Nvidia 发布 Groq 3 推理芯片：每秒 1500 token，专为多智能体而生

大家本来都盯着英伟达最新的 Rubin GPU，结果黄仁勋在 GTC 2026 上掏出的另一块芯片，反倒抢了风头。

这就是 Groq 3 语言处理单元（LPU）。

去年 12 月，英伟达刚花 200 亿美元拿下初创公司 Groq 的技术授权，顺便把创始人 Jonathan Ross 和总裁 Sunny Madra 一并招入麾下。

这才过了短短 3 个月，第一款流着 Groq 血液的硬件就已经摆上了货架。

专治智能体通信「卡脖子」

大家熟悉的英伟达 GPU 是个全能选手，训练和推理都能干。但 Groq 走的是偏科路线，只专攻推理。

英伟达超大规模与高性能计算副总裁 Ian Buck 直言，GPU 的显存虽然大很多，但 Groq 3 的内存速度快得吓人。

这次英伟达直接推出了 Groq 3 LPX 机架服务器，里面塞了 256 颗 Groq 3 LPU，配备 128GB 固态静态随机存取内存（SRAM），带宽达到了夸张的每秒 40PB。

这种速度专门用来对付超低延迟负载，以及多智能体自动化系统的超长上下文需求。

Ian Buck 举了个例子：每秒输出 100 个 token 对人类阅读来说已经很快了，但在多个 AI 智能体互相高频对话的世界里，这简直慢如龟速。

所以 Groq 3 的目标很激进，就是要为智能体之间的通信提供高达每秒 1500 个 token 的吞吐能力。

和 Rubin 机架搞「双机合体」

不过，英伟达并没打算用 Groq 3 取代自己的 GPU，而是把它当成了搭档。

Groq 3 LPX 机架被设计成与英伟达全新的 Vera Rubin NVL72 机架搭配使用。

NVL72 机架集成了 Rubin GPU 和英伟达自家的 Vera CPU，两者配合，Groq 3 就像是 Rubin 的协处理器。

按照官方说法，这种组合能在模型生成的每一层、每一个 token 上同时发力，轻松拿下万亿参数模型和上百万 token 的上下文窗口。

英伟达表示，与单用 GPU 相比，这种双机柜组合每兆瓦电力带来的吞吐量提升了 35 倍，商业创收机会增加了 10 倍。

在发布会上，英伟达一口气端出了五大机柜系统。除了这两个，还有独立的 Vera CPU 机架、提升存储表现的 Bluefield-4 STX 机架，以及 Spectrum-6 SPX 网络机架。

数据中心现在就是英伟达的印钞机。2026 财年其数据中心收入直接飙到 1935 亿美元，远高于上一年的 1162 亿美元。面对亚马逊、谷歌、微软和 Meta 今年预计高达 6500 亿美元的数据中心资本开支，英伟达显然想把每一块蛋糕都切到自己盘子里。

为什么重要

对开发者和企业来说，构建复杂多智能体系统的最大痛点就是延迟。过去智能体之间互相调用、反思和交谈，调用链路一长就卡顿，根本没法做实时业务。如果 Groq 3 真的能跑满每秒 1500 token，智能体系统的可用性会跨上一个大台阶。

我们认为，英伟达这笔 200 亿美元的交易走得极度老练。过去几年，Groq 这类专用推理芯片厂商一直高喊要革 GPU 推理的命，现在英伟达直接把对手的杀手锏买过来，变成自家生态的一块拼图。

这种互补打法看起来很聪明：用 Rubin GPU 的海量显存扛住庞大权重，用 Groq 3 的极致 SRAM 带宽狂飙推理速度，对手想单点突破就更难了。

但隐患也不是没有。Groq 3 LPX 机架只有 128GB 的 SRAM 内存，对于真正的长文本和复杂环境，它完全无法独立作战，必须死死捆绑极其昂贵的 Rubin 系统。这种昂贵的组合究竟有多少客户能买得起、日常运维有多复杂，仍然有待一线云厂商的实际检验。