Groq 憑自研 LPU 走紅：每秒狂飆 247 個 Token，比微軟快 13 倍

如果你這幾天在社交網路上刷到過 AI 聊天的錄屏，可能會以為影片被按下了八倍速。

螢幕這頭剛敲下回車，成百上千字、帶著引用來源的回答在一眨眼的工夫就整頁刷了出來。在 CNN 的電視直播裡，主持人更是跨越大半個地球，跟一個 AI 助手做起了毫無卡頓的即時語音對話。

這段在週末爆火的演示並不是某個神秘新模型，而是一家叫 Groq 的晶片創業公司搞出來的動靜。它雖然和埃隆·馬斯克旗下的聊天機器人 Grok 讀音一模一樣，但做的完全是另一碼事。

專為推理而生的 LPU

說白了，Groq 自己不做基礎大模型，也不打算取代 ChatGPT 或 Gemini。它做的是底層硬體和「推理引擎」，專門負責把現有的模型跑得飛快。

現在行業裡跑大模型，基本人手一張輝達的 GPU。但 Groq 押注的是一種叫做 LPU（Language Processing Unit，語言處理單元）的自研晶片。

Groq 創始人兼執行長 Jonathon Ross 之前參與聯合創辦了 Google 的 AI 晶片部門，主導過 TPU 的研發。按照他的說法，GPU 和 CPU 在跑大語言模型時總會卡在兩個瓶頸上：計算密度和記憶體頻寬，而 LPU 就是為了繞開這兩個痛點設計的。

第三方基準評測機構 Artificial Analysis 上週公佈的資料給這個說法添了實錘。在測試中，Groq 跑出了每秒 247 個 token 的吞吐量，而微軟那邊的表現只有每秒 18 個 token。換句話說，如果把 ChatGPT 搬到 Groq 的晶片上跑，速度能拉快 13 倍以上。

有意思的是名字撞車的小插曲。這個詞源於 1961 年羅伯特·海因萊因的科幻名作《異鄉異客》，意思是深入且憑直覺地理解。Ross 在去年 11 月馬斯克釋出 xAI 的 Grok 三天後，就特意發博文提醒對方：自己早在 2016 年就成立了 Groq，而且這個名字早就是註冊商標了。

為什麼重要

大模型目前最讓人出戲的地方，就是打字機式的吐字延遲，平時查資料還能忍，一旦要做即時語音互動，幾秒鐘的停頓就會徹底毀掉對話感。之前 Google 演示 Gemini 即時多模態互動時還得靠剪輯加速，而 Groq 展示的速度，讓我們覺得這種無延遲的真人級語音溝通第一次有了落地的可能。

對開發者和普通使用者來說，只要去 Groq 官網上點一點，就能直觀感受到開源大模型在極速狀態下是什麼體驗。如果這種推理能力能夠低成本普及，智慧客服、同聲傳譯和語音助手的體驗會被徹底重新整理。

但這事看起來也有隱患。狂飆的速度主要依賴對記憶體架構的特殊設計，目前外界最大的疑問在於它的可擴充套件性：LPU 跑開源小模型確實兇猛，但面對千億甚至萬億引數的超大模型叢集，它的擴充套件成本和吞吐效率能不能拼得過輝達成熟的生態，還要打個問號。不過在黃仁勳靠 GPU 壟斷天下的當下，能有人在推理端撕開一道口子，對被算力成本卡脖子的整個行業來說都是好事。