Cerebras 上线 AI 推理：Llama 3.1 每秒 1800 token，成本仅 GPU 零头

平时我们用大模型写代码或者聊天，屏幕上的字总是一个一个往外吐，像在看打字机工作。

现在，这个速度被刷新了成百上千倍。8 月 27 日，芯片创业公司 Cerebras 正式上线了自己的云端推理服务 Cerebras Inference，直接跑 Meta 的开源大模型 Llama 3.1。

第三方法准测试机构 Artificial Analysis 的实测数据显示，在这套系统上，Llama 3.1 8B 的生成速度达到了每秒 1800 个 token，70B 版本也超过了每秒 446 个 token。Cerebras 表示，这个速度比目前主流云厂商手里的英伟达 GPU 方案快了整整 20 倍。

更狠的是价格。Llama 3.1 8B 每百万 token 收费 10 美分，70B 版本每百万 token 收费 60 美分。Cerebras 宣称，在同样的性能和成本下，它的性价比是英伟达 GPU 方案的 100 倍。

一整张晶圆做出来的芯片，专治带宽饥渴

能跑出这种速度，核心在于底层的芯片长得和普通芯片完全不一样。

普通 GPU 跑大模型推理时，计算核心往往在空转，因为数据从显存搬运到算力核心的速度不够快，业内把这叫做「内存墙」。

Cerebras 拿出来的底牌是自家的第三代晶圆级芯片 WSE-3。它直接把一整张 12 英寸硅晶圆做成一颗巨大的芯片，而不是切成几百颗小芯片。

这种结构让芯片上的计算单元和内存紧紧挨在一起。Cerebras 表示，WSE-3 的内存带宽是英伟达 H100 的 7000 倍，彻底解开了搬运数据的瓶颈。

而且，以往很多加速方案为了堆速度，会把模型压成 8 位甚至 4 位的量化版本，代价是模型变笨、精度下降。Cerebras 这次直接跑全程 16 位精度，第三方机构 Artificial Analysis 也确认其输出质量和 Meta 官方标准的 16 位一致。

在接入方式上，开发者基本不需要重写代码。它的 API 格式完全兼容 OpenAI 的 Chat Completions 标准，改个接口地址就能换过来。服务分成了免费版、按量付费的开发者版，以及支持私有部署的企业版。

吴恩达也公开提到，DeepLearning.AI 的很多 AI Agent 工作流需要反复多次调用大模型才能拿到结果，这种极高速度的推理正是这类场景急需的。Perplexity、LiveKit 和 Docker 等公司也宣布加入合作。

为什么重要

在我们看来，每秒 1800 个 token 的意义，绝对不只是让聊天框打字更快，而是从根本上改变了软件的形态。

当生成速度达到几百上千 token 时，大模型才能真正从「聊天玩具」变成「即时计算引擎」。比如多智能体协同，一个任务在背后需要十几个 Agent 互相讨论、写代码、纠错，如果在 GPU 上跑可能要等上一两分钟，用户早就关掉了网页；但在 Cerebras 上，这个过程可能一两秒就完成了，甚至能做到和实时语音、视频交互无缝结合。

对开发者来说，这个服务极度诱人。它不仅速度快，而且每百万 token 才 10 美分起步，还有免费额度，迁移门槛低到只需要改几行代码。如果你在做 Agent 工作流或者语音 AI，现在就值得去跑一下测试。

但这并不意味着英伟达的阵地马上就会丢掉。Cerebras 的巨型晶圆芯片成本高昂、制造极难，它能支撑多大规模的并发请求，在峰值流量下会不会出现排队或掉速，目前还要打个问号。此外，它目前主打的是开源模型托管，企业如果想部署非常小众或自定义的架构，自由度依然不如通用 GPU 生态。

不过，Cerebras 这一步走得极其精准。推理目前占了整个 AI 硬件市场约 40% 的份额，而且还在快速扩大。它不跟英伟达正面拼通用训练，而是挑准「推理速度」和「价格」这两根软肋狠狠打下去。看起来，AI 硬件市场的铁板一块，终于被撕开了一道肉眼可见的口子。