Inception Labs 发布 Mercury Coder：首个扩散代码模型，每秒超 1000 token

如果你用过 Midjourney 或 Sora，大概很熟悉那个画面：AI 并不是从画面左上角一笔一笔画到右下角，而是先泼上一团模糊的噪点，然后几轮去噪，画面瞬间变得清晰。

但到了大语言模型这边，大家早就习惯了看光标一个词一个词往外蹦。这种「从左到右」逐字预测的自回归机制，统治了整个生成式 AI 时代，也成了推理速度的最大瓶颈。

斯坦福大学教授 Stefano Ermon 创立的 Inception Labs 决定换个思路。他们正式发布了 Mercury Coder，号称是首个商业级扩散语言模型（dLLM）。它把生成图片的方法搬到了写代码上，直接在英伟达 H100 上跑出了每秒超过 1000 token 的速度。

像画画一样写代码

传统的代码模型写代码，就像打字机打字，前一个词没敲出来，后一个词就根本没法算。

Mercury Coder 采用的扩散机制完全不同。它一上来先生成一个包含整段代码雏形的粗糙序列，从纯噪声开始，然后通过几个并行的细化步骤，由粗到细逐步去噪，最终打磨出完整的可用代码。

这种非顺序生成方式不仅彻底放开了 GPU 的并行计算能力，还带来了一种全新的容错机制。模型在生成整体结构时就能兼顾上下文，中途修改和推理纠错不需要像自回归那样推倒重来。

Inception Labs 表示，这种架构直接让推理速度提升了最高 10 倍，推理成本也大幅缩减。

普通 GPU 跑出专用芯片的速度

每秒 1000 token 是个什么概念？过去想要在网页上看到这种「字刚敲完代码就全出来」的瞬时响应，通常得依赖 Groq 或 Cerebras 这种价格高昂的专用推理芯片。

而 Mercury Coder 跑在通用的英伟达 H100 上就达到了这个速度。在基准代码测试中，它的表现打平甚至超过了以速度见长的 GPT-4o Mini 和 Claude 3.5 Haiku，代码水平也与 Gemini 2.0 Flash-Lite 相当，而延迟只有后者的几分之一。

知名 AI 研究员 Andrej Karpathy 在社交媒体上对此评论称，文本和音频一直偏向自回归，而图像和视频却全面拥抱扩散模型，这在行业里一直是个谜团。他认为 Mercury 走出的这一步，可能会让大家看到文本生成全新维度的优缺点与特质。

目前用户已经可以在其 Playground（chat.inceptionlabs.ai）直接上手体验，右侧边栏还会实时预览生成的交互界面。企业端则开放了 Mercury Coder Mini 和 Mercury Coder Small 的 API 与本地部署申请，针对客服与办公自动化的对话模型也已进入内测。

为什么重要

我们认为，Mercury Coder 最让人兴奋的地方，在于它打破了「文本生成必须死守自回归」的思维定势。

对开发者和企业来说，它的价值非常直接。在代码实时补全、复杂脚本生成或者自动化客服这类强依赖低延迟的场景里，谁都不想盯着光标转圈。如果企业能在现有英伟达通用硬件上直接获得 10 倍的吞吐量，省下的不仅是等待时间，更是真金白银的算力账单。

更深远的影响在底层生态上。过去一年，为了榨干自回归模型的推理速度，业界要么疯狂搞投机采样，要么花大价钱买专用推理卡。Mercury 证明了换一种架构，通用显卡就能在吞吐量上反超专用芯片，这无疑会倒逼其他大厂重新审视扩散架构在文本上的可能性。

不过，我们觉得现在还不能过早断言它能全面替代传统大模型。并行去噪在短代码和常规模式生成上效率惊人，但面对长程复杂逻辑推理、超长上下文依赖的工程场景时，扩散模型是否会出现隐蔽的逻辑断层，还有待实际业务的大规模检验。但无论如何，这扇被关了很久的大门，终于被推开了一条缝。