Inception 釋出 Mercury Voice：首 token 延遲 320 毫秒，專為語音智慧體打造

如果你給客服打過電話，或者去過汽車穿梭餐廳點單，肯定體驗過那種尷尬的停頓：你說完一句話，對面足足安靜兩三秒，你甚至忍不住問一句「喂，還在嗎」。

對語音 AI 來說，500 毫秒是一道生死線。只要回覆延遲超過半秒，對話就會顯得遲鈍；要是為了趕時間把模型改傻，遇到複雜要求它又接不住話。兩週前剛預覽過 Mercury 2.5 的 Inception Labs，今天正式向企業客戶推出了 Mercury Voice，試圖把這兩件事同時辦妥。

擴散大模型把首字延遲壓到 320 毫秒

Mercury Voice 是一顆基於擴散架構的大語言模型（diffusion LLM），專門給即時語音 Agent 做後訓練。它支援 128K 上下文和最高 50K 輸出，並且提供低、中、高三檔推理設定。

在真實客服提示詞測試裡，低推理檔位下的首個回答 token 時間（TTFAT）中位數只要 320 毫秒，比不帶推理的 GPT-6 Luna 快了 5.9 倍。更關鍵的是尾部延遲：它的 p95 延遲為 750 毫秒，而同行大部分模型一旦遇到長尾情況，延遲很容易飆到 4 秒開外，這意味著每二十次對話裡就得搞砸一次。

在做完思考和工具呼叫之後，它的能力表現也沒落下。在包含 τ³-bench 電信、零售、航空以及 IFBench 和 BFCL v4 的綜合評測中，Mercury Voice 的綜合表現超過了 Gemma 4 31B、GPT-6 Luna、GLM-5.3-Flash、Gemini 3.5 Flash-Lite 和 Qwen3.5-397B。

目前幾家企業已經把它用在生產環境裡。Audivi AI 用它在汽車穿梭餐廳做全自動點餐和換單加購；金融電話催收機構 Altur 表示這是他們測過最快的模型，語言模型第一次不再是語音管線的瓶頸；而客服電話平臺 OpenCall 則表示，在他們自己的業務負載下，模型的響應延遲中位數被拉到了接近 170 毫秒。

接入方面，它直接提供了相容 OpenAI 格式的 API 介面，不管是接 LiveKit、Pipecat 還是 Vapi、Retell，換掉原來的大模型插槽就能跑。價格上，標價為每百萬輸入 token 0.40 美元、輸出 1.50 美元，上線期間打五折，合輸入 0.20 美元、輸出 0.75 美元。折算下來一分鐘對話成本約 0.009 美元，比 GPT-4.1 的每分鐘 0.045 美元便宜了近八成。

為什麼重要

做即時語音 Agent 的團隊，過去幾年基本上都在咽苦水：想要模型能聽懂複雜指令、順暢調工具，就只能選體積大的慢模型；想要 500 毫秒內接上話，就只能降級去用 GPT-4.1 或小號開源模型，讓使用者忍受智力縮水。

Mercury Voice 這次最亮眼的地方，是它拿擴散架構（dLLM）在端到端文本生成上打出了一條新路。利用擴散模型的並行解碼特性，把大模型思考和出字的時間壓縮排人類交談的舒適區，這種做法直接繞開了傳統自迴歸模型逐字吐 token 的物理延遲牆。

對開發者和呼叫中心企業來說，現在就很值得拿典型業務場景去測一測。不僅是延遲從秒級縮到 300 毫秒以內，更重要的是每分鐘 0.009 美元的成本，直接把大規模鋪開電話機器人的門檻砍掉了大半。

不過在我們看來，它也並不是萬靈藥。語音管線裡除了語言模型本身，還有前端的語音轉文字（ASR）和後端的語音合成（TTS），如果這兩頭配合不好，語言模型省出來的兩百毫秒很容易被抵消。另外，目前它僅向企業客戶開放申請，實際在極端複雜的多輪業務邏輯中會不會出現幻覺，還要看更多非標場景的落地檢驗。