Inception 发布 Mercury Voice：首 token 延迟 320 毫秒，专为语音智能体打造

如果你给客服打过电话，或者去过汽车穿梭餐厅点单，肯定体验过那种尴尬的停顿：你说完一句话，对面足足安静两三秒，你甚至忍不住问一句「喂，还在吗」。

对语音 AI 来说，500 毫秒是一道生死线。只要回复延迟超过半秒，对话就会显得迟钝；要是为了赶时间把模型改傻，遇到复杂要求它又接不住话。两周前刚预览过 Mercury 2.5 的 Inception Labs，今天正式向企业客户推出了 Mercury Voice，试图把这两件事同时办妥。

扩散大模型把首字延迟压到 320 毫秒

Mercury Voice 是一颗基于扩散架构的大语言模型（diffusion LLM），专门给实时语音 Agent 做后训练。它支持 128K 上下文和最高 50K 输出，并且提供低、中、高三档推理设置。

在真实客服提示词测试里，低推理档位下的首个回答 token 时间（TTFAT）中位数只要 320 毫秒，比不带推理的 GPT-6 Luna 快了 5.9 倍。更关键的是尾部延迟：它的 p95 延迟为 750 毫秒，而同行大部分模型一旦遇到长尾情况，延迟很容易飙到 4 秒开外，这意味着每二十次对话里就得搞砸一次。

在做完思考和工具调用之后，它的能力表现也没落下。在包含 τ³-bench 电信、零售、航空以及 IFBench 和 BFCL v4 的综合评测中，Mercury Voice 的综合表现超过了 Gemma 4 31B、GPT-6 Luna、GLM-5.3-Flash、Gemini 3.5 Flash-Lite 和 Qwen3.5-397B。

目前几家企业已经把它用在生产环境里。Audivi AI 用它在汽车穿梭餐厅做全自动点餐和换单加购；金融电话催收机构 Altur 表示这是他们测过最快的模型，语言模型第一次不再是语音管线的瓶颈；而客服电话平台 OpenCall 则表示，在他们自己的业务负载下，模型的响应延迟中位数被拉到了接近 170 毫秒。

接入方面，它直接提供了兼容 OpenAI 格式的 API 接口，不管是接 LiveKit、Pipecat 还是 Vapi、Retell，换掉原来的大模型插槽就能跑。价格上，标价为每百万输入 token 0.40 美元、输出 1.50 美元，上线期间打五折，合输入 0.20 美元、输出 0.75 美元。折算下来一分钟对话成本约 0.009 美元，比 GPT-4.1 的每分钟 0.045 美元便宜了近八成。

为什么重要

做实时语音 Agent 的团队，过去几年基本上都在咽苦水：想要模型能听懂复杂指令、顺畅调工具，就只能选体积大的慢模型；想要 500 毫秒内接上话，就只能降级去用 GPT-4.1 或小号开源模型，让用户忍受智力缩水。

Mercury Voice 这次最亮眼的地方，是它拿扩散架构（dLLM）在端到端文本生成上打出了一条新路。利用扩散模型的并行解码特性，把大模型思考和出字的时间压缩进人类交谈的舒适区，这种做法直接绕开了传统自回归模型逐字吐 token 的物理延迟墙。

对开发者和呼叫中心企业来说，现在就很值得拿典型业务场景去测一测。不仅是延迟从秒级缩到 300 毫秒以内，更重要的是每分钟 0.009 美元的成本，直接把大规模铺开电话机器人的门槛砍掉了大半。

不过在我们看来，它也并不是万灵药。语音管线里除了语言模型本身，还有前端的语音转文字（ASR）和后端的语音合成（TTS），如果这两头配合不好，语言模型省出来的两百毫秒很容易被抵消。另外，目前它仅向企业客户开放申请，实际在极端复杂的多轮业务逻辑中会不会出现幻觉，还要看更多非标场景的落地检验。