Cerebras 上線 AI 推理：Llama 3.1 每秒 1800 token，成本僅 GPU 零頭

平時我們用大模型寫程式碼或者聊天，螢幕上的字總是一個一個往外吐，像在看打字機工作。

現在，這個速度被重新整理了成百上千倍。8 月 27 日，晶片創業公司 Cerebras 正式上線了自己的雲端推理服務 Cerebras Inference，直接跑 Meta 的開源大模型 Llama 3.1。

第三方法準測試機構 Artificial Analysis 的實測資料顯示，在這套系統上，Llama 3.1 8B 的生成速度達到了每秒 1800 個 token，70B 版本也超過了每秒 446 個 token。Cerebras 表示，這個速度比目前主流雲廠商手裡的輝達 GPU 方案快了整整 20 倍。

更狠的是價格。Llama 3.1 8B 每百萬 token 收費 10 美分，70B 版本每百萬 token 收費 60 美分。Cerebras 宣稱，在同樣的效能和成本下，它的價效比是輝達 GPU 方案的 100 倍。

一整張晶圓做出來的晶片，專治頻寬飢渴

能跑出這種速度，核心在於底層的晶片長得和普通晶片完全不一樣。

普通 GPU 跑大模型推理時，計算核心往往在空轉，因為資料從視訊記憶體搬運到算力核心的速度不夠快，業內把這叫做「記憶體牆」。

Cerebras 拿出來的底牌是自家的第三代晶圓級晶片 WSE-3。它直接把一整張 12 英寸矽晶圓做成一顆巨大的晶片，而不是切成幾百顆小晶片。

這種結構讓晶片上的計算單元和記憶體緊緊挨在一起。Cerebras 表示，WSE-3 的記憶體頻寬是輝達 H100 的 7000 倍，徹底解開了搬運資料的瓶頸。

而且，以往很多加速方案為了堆速度，會把模型壓成 8 位甚至 4 位的量化版本，代價是模型變笨、精度下降。Cerebras 這次直接跑全程 16 位精度，第三方機構 Artificial Analysis 也確認其輸出質量和 Meta 官方標準的 16 位一致。

在接入方式上，開發者基本不需要重寫程式碼。它的 API 格式完全相容 OpenAI 的 Chat Completions 標準，改個介面地址就能換過來。服務分成了免費版、按量付費的開發者版，以及支援私有部署的企業版。

吳恩達也公開提到，DeepLearning.AI 的很多 AI Agent 工作流需要反覆多次呼叫大模型才能拿到結果，這種極高速度的推理正是這類場景急需的。Perplexity、LiveKit 和 Docker 等公司也宣佈加入合作。

為什麼重要

在我們看來，每秒 1800 個 token 的意義，絕對不只是讓聊天框打字更快，而是從根本上改變了軟體的形態。

當生成速度達到幾百上千 token 時，大模型才能真正從「聊天玩具」變成「即時計算引擎」。比如多智慧體協同，一個任務在背後需要十幾個 Agent 互相討論、寫程式碼、糾錯，如果在 GPU 上跑可能要等上一兩分鐘，使用者早就關掉了網頁；但在 Cerebras 上，這個過程可能一兩秒就完成了，甚至能做到和即時語音、影片互動無縫結合。

對開發者來說，這個服務極度誘人。它不僅速度快，而且每百萬 token 才 10 美分起步，還有免費額度，遷移門檻低到只需要改幾行程式碼。如果你在做 Agent 工作流或者語音 AI，現在就值得去跑一下測試。

但這並不意味著輝達的陣地馬上就會丟掉。Cerebras 的巨型晶圓晶片成本高昂、製造極難，它能支撐多大規模的併發請求，在峰值流量下會不會出現排隊或掉速，目前還要打個問號。此外，它目前主打的是開源模型託管，企業如果想部署非常小眾或自定義的架構，自由度依然不如通用 GPU 生態。

不過，Cerebras 這一步走得極其精準。推理目前佔了整個 AI 硬體市場約 40% 的份額，而且還在快速擴大。它不跟輝達正面拼通用訓練，而是挑準「推理速度」和「價格」這兩根軟肋狠狠打下去。看起來，AI 硬體市場的鐵板一塊，終於被撕開了一道肉眼可見的口子。