Microsoft 釋出 MAI-Voice-2.1:延遲低至 45ms,支援零樣本即時克隆
Microsoft 釋出 MAI-Voice-2.1 和 MAI-Voice-2.1-Flash 文本轉語音模型。兩者支援零樣本即時克隆聲音與情緒控制,涵蓋 23 種語言。Flash 版延遲僅約 45 毫秒,每百萬字元 15 美元,讓即時電話互動徹底告別機械停頓。

跟真人打電話最怕那種令人尷尬的停頓:你講完一句,電話那頭足足卡上一秒才傳出機械音,誰聽了都知道這是個機器人。
微軟剛剛拿出了兩款新的文本轉語音模型,想把這種卡頓徹底抹掉。這兩款模型分別是主打音質的 MAI-Voice-2.1,以及追求極致響應的 MAI-Voice-2.1-Flash。搭配同場釋出的流式聽寫模型,微軟正在給語音智慧體補上最缺的一環。
45毫秒延遲與秒級聲音克隆
這次更新最搶眼的引數是速度。面向高併發和低延遲場景的 MAI-Voice-2.1-Flash,模型推理延遲僅有約 45 毫秒。微軟宣稱,生成 45 秒音訊的端到端延遲只有區區 150 毫秒。
它的價格壓到了每 100 萬字符 15 美元,比同類模型便宜約 60%。這意味著客服呼叫中心或者車載語音助手,哪怕日夜不休地吐字,成本也不會讓人肉痛。
另一款標準版 MAI-Voice-2.1 推理延遲約為 550 毫秒,價格為每 100 萬字符 22 美元。它犧牲了一點響應速度,把算力留給了細膩的語氣和音質,專為有聲書、播客旁白和內容創作量身定製。
更實用的功能是零樣本聲音克隆。開發者只需要一段幾秒鐘的參考音訊,模型就能瞬間完成聲音匹配,甚至不需要重新微調。兩款模型都支援精細的情感控制,不管是冥想引導的平靜、解說球賽的狂熱,還是念莎士比亞時的戲劇腔,都能切換自如。
一個聲音切換23種語言,還能自帶地道口音
很多人在用多語言配音時都會遇到一個別扭問題:同一個角色切到外語後,不僅口音生硬,連音色也變味了。
MAI-Voice-2.1 系列覆蓋了 23 種語言和 26 種本地化方言,包括簡體中文、美式英語、英式英語、印式英語、日語和韓語等。模型最大的特點是支援跨語言音色保持。
簡單說,同一個說話人的聲音,前一句講地道的普通話,下一句換成德語或英語,聽起來仍然是同一個人,同時咬字還能帶上當地的原生口音,不會帶著濃重的中式或美式腔調跨語言硬讀。
配合今天釋出的 MAI-Transcribe-2-Streaming 聽寫模型,整個對話閉環就算搭齊了。那款聽寫模型在接收到音訊約 100 毫秒內就能輸出初步文本,還能連續自動識別 60 種語言。現在的首發嚐鮮價是每小時音訊 0.54 美元。
開發者目前已經可以通過 OpenRouter、Microsoft Foundry、MAI Playground、Vercel 和 Azure Voice Live 呼叫這些語音模型,LiveKit 的接入也已經在路上。官方還在 MAI Playground 上線了名為 Chatter 的即時演示。
為什麼重要
做語音智慧體,說白了就是在跟人類的生理容忍度搶時間。人的正常交談停頓一般在兩三百毫秒左右。智慧體必須在極短時間內聽清、理解、呼叫工具、生成回覆並念出來,過去語音合成往往是吃掉時間最多的那塊短板。
我們認為,微軟這一步走得相當務實。它沒有硬把所有指標揉進一個臃腫的模型裡,而是把高音質創作和超快互動拆成了兩套工具。45 毫秒的推理加上每百萬字元 15 美元,直接把低延遲語音互動的商用門檻砸穿了。跨語言保持同音色的能力,對做全球化教育、出海遊戲 NPC 或跨國客服的團隊來說,也是肉眼可見的生產力提升。
不過,克隆門檻低到只需要幾秒音訊,安全風險就必然會被放大。雖然微軟聲稱內建了知情同意的防護機制,但這種圍欄到底防不防得住黑灰產冒充身份,依然有待真實業務環境的檢驗。對於普通開發者來說,現在不用去大費周章微調專用模型,直接拿現成的 API 跑通一套雙向即時語音對話,顯然已經划算太多了。
來源 (2)
- microsoft.ai(在新分頁開啟)原文microsoft.ai
- microsoft.ai(在新分頁開啟)報導microsoft.ai