Nvidia 釋出 Groq 3 推理晶片：每秒 1500 token，專為多智慧體而生

大家本來都盯著輝達最新的 Rubin GPU，結果黃仁勳在 GTC 2026 上掏出的另一塊晶片，反倒搶了風頭。

這就是 Groq 3 語言處理單元（LPU）。

去年 12 月，輝達剛花 200 億美元拿下初創公司 Groq 的技術授權，順便把創始人 Jonathan Ross 和總裁 Sunny Madra 一併招入麾下。

這才過了短短 3 個月，第一款流著 Groq 血液的硬體就已經擺上了貨架。

專治智慧體通訊「卡脖子」

大家熟悉的輝達 GPU 是個全能選手，訓練和推理都能幹。但 Groq 走的是偏科路線，只專攻推理。

輝達超大規模與高效能運算副總裁 Ian Buck 直言，GPU 的視訊記憶體雖然大很多，但 Groq 3 的記憶體速度快得嚇人。

這次輝達直接推出了 Groq 3 LPX 機架伺服器，裡面塞了 256 顆 Groq 3 LPU，配備 128GB 固態靜態隨機存取記憶體（SRAM），頻寬達到了誇張的每秒 40PB。

這種速度專門用來對付超低延遲負載，以及多智慧體自動化系統的超長上下文需求。

Ian Buck 舉了個例子：每秒輸出 100 個 token 對人類閱讀來說已經很快了，但在多個 AI 智慧體互相高頻對話的世界裡，這簡直慢如龜速。

所以 Groq 3 的目標很激進，就是要為智慧體之間的通訊提供高達每秒 1500 個 token 的吞吐能力。

和 Rubin 機架搞「雙機合體」

不過，輝達並沒打算用 Groq 3 取代自己的 GPU，而是把它當成了搭檔。

Groq 3 LPX 機架被設計成與輝達全新的 Vera Rubin NVL72 機架搭配使用。

NVL72 機架集成了 Rubin GPU 和輝達自家的 Vera CPU，兩者配合，Groq 3 就像是 Rubin 的協處理器。

按照官方說法，這種組合能在模型生成的每一層、每一個 token 上同時發力，輕鬆拿下萬億引數模型和上百萬 token 的上下文視窗。

輝達表示，與單用 GPU 相比，這種雙機櫃組合每兆瓦電力帶來的吞吐量提升了 35 倍，商業創收機會增加了 10 倍。

在釋出會上，輝達一口氣端出了五大機櫃系統。除了這兩個，還有獨立的 Vera CPU 機架、提升儲存表現的 Bluefield-4 STX 機架，以及 Spectrum-6 SPX 網路機架。

資料中心現在就是輝達的印鈔機。2026 財年其資料中心收入直接飆到 1935 億美元，遠高於上一年的 1162 億美元。面對亞馬遜、谷歌、微軟和 Meta 今年預計高達 6500 億美元的資料中心資本開支，輝達顯然想把每一塊蛋糕都切到自己盤子裡。

為什麼重要

對開發者和企業來說，構建複雜多智慧體系統的最大痛點就是延遲。過去智慧體之間互相呼叫、反思和交談，呼叫鏈路一長就卡頓，根本沒法做即時業務。如果 Groq 3 真的能跑滿每秒 1500 token，智慧體系統的可用性會跨上一個大臺階。

我們認為，輝達這筆 200 億美元的交易走得極度老練。過去幾年，Groq 這類專用推理晶片廠商一直高喊要革 GPU 推理的命，現在輝達直接把對手的殺手鐧買過來，變成自家生態的一塊拼圖。

這種互補打法看起來很聰明：用 Rubin GPU 的海量視訊記憶體扛住龐大權重，用 Groq 3 的極致 SRAM 頻寬狂飆推理速度，對手想單點突破就更難了。

但隱患也不是沒有。Groq 3 LPX 機架只有 128GB 的 SRAM 記憶體，對於真正的長文本和複雜環境，它完全無法獨立作戰，必須死死捆綁極其昂貴的 Rubin 系統。這種昂貴的組合究竟有多少客戶能買得起、日常運維有多複雜，仍然有待一線雲廠商的實際檢驗。