Nvidia、推論特化チップ「Groq 3」発表：毎秒1500トークンでマルチエージェントを加速

Nvidiaはサンノゼで開催中のGTC 2026において、推論専用プロセッサ「Groq 3 LPU」を発表しました。

同社は昨年12月、推論スタートアップのGroqと200億ドルのライセンス契約を結び、創業者ジョナサン・ロス氏らを招聘しました。それからわずか3カ月での製品投入となります。

次世代GPU「Rubin」が注目を集める中、AIエージェントの未来を左右するのはこのLPUかもしれません。

エージェント同士の会話を1500トークン/秒へ

NvidiaのGPUは学習と推論の両方をこなす汎用チップですが、Groq 3は推論処理のみに特化しています。

Nvidiaのイアン・バック副社長によると、GPUはメモリ容量で勝るものの、Groq 3のメモリは比較にならないほど高速です。

今回発表されたラック型システム「Groq 3 LPX」は、256基のGroq 3 LPUを搭載し、128GBのSRAMと毎秒40PBという圧倒的なメモリ帯域幅を実現しています。

狙いは自律型AIエージェントの通信高速化です。人間にとって毎秒100トークンは十分な速さですが、エージェント同士が常に通信し合うシステムにとっては遅すぎます。

そのため、エージェント間通信で最大毎秒1500トークンのスループットを叩き出すよう設計されています。

Rubin GPUと組むコプロセッサ戦略

Groq 3は単独でGPUに取って代わるわけではありません。Rubin GPUとVera CPUを統合した「Vera Rubin NVL72」ラックと連携して動作します。

NvidiaはGroq 3をRubinのコプロセッサと位置づけており、モデルの全レイヤーおよび全トークンで処理を加速させます。

これにより、兆単位のパラメータと100万トークン規模のコンテキストを効率的に処理できます。2つのラックを組み合わせることで、メガワットあたりのスループットは35倍に跳ね上がり、収益機会は10倍に拡大すると説明しています。

今回のGTCでは、これら2つを含む計5種類の新ラック（Vera CPU専用ラック、Bluefield-4 STXストレージ、Spectrum-6 SPXネットワーク）が披露されました。

2026会計年度におけるNvidiaのデータセンター部門売上高は1935億ドルに達し、前年の1162億ドルから急増しました。ハイパースケーラーが今年投じる見込みの6500億ドルの設備投資を、全方位で取り込む構えです。

なぜ重要か

マルチエージェント環境を開発するエンジニアにとって、推論遅延は実用化を阻む最大の障壁でした。エージェント間の対話が毎秒1500トークンで動くようになれば、複雑な自律タスクのレスポンスは劇的に改善します。

私たちの見解では、Nvidiaの200億ドル投資の回収スピードと戦略は見事です。GPUの牙城を崩そうとしていた最大の脅威であるGroqのLPU技術を素早く取り込み、自社エコシステムの補強パーツに作り変えました。

大容量メモリが必要な処理はRubinに任せ、超低遅延が求められるトークン生成をGroq 3に担わせる役割分担は非常に合理的です。

懸念されるのは、ラックあたり128GBというSRAM容量の少なさです。Groq 3単体では動作が成立せず、極めて高価なRubinラックとのセット導入が前提になります。この巨額なインフラコストを大手クラウド事業者以外の顧客がどこまで許容できるかが今後の試金石になりそうです。