Groq 凭自研 LPU 走红：每秒狂飙 247 个 Token，比微软快 13 倍

如果你这几天在社交网络上刷到过 AI 聊天的录屏，可能会以为视频被按下了八倍速。

屏幕这头刚敲下回车，成百上千字、带着引用来源的回答在一眨眼的工夫就整页刷了出来。在 CNN 的电视直播里，主持人更是跨越大半个地球，跟一个 AI 助手做起了毫无卡顿的实时语音对话。

这段在周末爆火的演示并不是某个神秘新模型，而是一家叫 Groq 的芯片创业公司搞出来的动静。它虽然和埃隆·马斯克旗下的聊天机器人 Grok 读音一模一样，但做的完全是另一码事。

专为推理而生的 LPU

说白了，Groq 自己不做基础大模型，也不打算取代 ChatGPT 或 Gemini。它做的是底层硬件和「推理引擎」，专门负责把现有的模型跑得飞快。

现在行业里跑大模型，基本人手一张英伟达的 GPU。但 Groq 押注的是一种叫做 LPU（Language Processing Unit，语言处理单元）的自研芯片。

Groq 创始人兼首席执行官 Jonathon Ross 之前参与联合创办了 Google 的 AI 芯片部门，主导过 TPU 的研发。按照他的说法，GPU 和 CPU 在跑大语言模型时总会卡在两个瓶颈上：计算密度和内存带宽，而 LPU 就是为了绕开这两个痛点设计的。

第三方基准评测机构 Artificial Analysis 上周公布的数据给这个说法添了实锤。在测试中，Groq 跑出了每秒 247 个 token 的吞吐量，而微软那边的表现只有每秒 18 个 token。换句话说，如果把 ChatGPT 搬到 Groq 的芯片上跑，速度能拉快 13 倍以上。

有意思的是名字撞车的小插曲。这个词源于 1961 年罗伯特·海因莱因的科幻名作《异乡异客》，意思是深入且凭直觉地理解。Ross 在去年 11 月马斯克发布 xAI 的 Grok 三天后，就特意发博文提醒对方：自己早在 2016 年就成立了 Groq，而且这个名字早就是注册商标了。

为什么重要

大模型目前最让人出戏的地方，就是打字机式的吐字延迟，平时查资料还能忍，一旦要做实时语音交互，几秒钟的停顿就会彻底毁掉对话感。之前 Google 演示 Gemini 实时多模态互动时还得靠剪辑加速，而 Groq 展示的速度，让我们觉得这种无延迟的真人级语音沟通第一次有了落地的可能。

对开发者和普通用户来说，只要去 Groq 官网上点一点，就能直观感受到开源大模型在极速状态下是什么体验。如果这种推理能力能够低成本普及，智能客服、同声传译和语音助手的体验会被彻底刷新。

但这事看起来也有隐患。狂飙的速度主要依赖对内存架构的特殊设计，目前外界最大的疑问在于它的可扩展性：LPU 跑开源小模型确实凶猛，但面对千亿甚至万亿参数的超大模型集群，它的扩展成本和吞吐效率能不能拼得过英伟达成熟的生态，还要打个问号。不过在黄仁勋靠 GPU 垄断天下的当下，能有人在推理端撕开一道口子，对被算力成本卡脖子的整个行业来说都是好事。