Microsoft 发布 MAI-Voice-2.1:延迟低至 45ms,支持零样本即时克隆
Microsoft 发布 MAI-Voice-2.1 和 MAI-Voice-2.1-Flash 文本转语音模型。两者支持零样本即时克隆声音与情绪控制,涵盖 23 种语言。Flash 版延迟仅约 45 毫秒,每百万字符 15 美元,让实时电话交互彻底告别机械停顿。

跟真人打电话最怕那种令人尴尬的停顿:你讲完一句,电话那头足足卡上一秒才传出机械音,谁听了都知道这是个机器人。
微软刚刚拿出了两款新的文本转语音模型,想把这种卡顿彻底抹掉。这两款模型分别是主打音质的 MAI-Voice-2.1,以及追求极致响应的 MAI-Voice-2.1-Flash。搭配同场发布的流式听写模型,微软正在给语音智能体补上最缺的一环。
45毫秒延迟与秒级声音克隆
这次更新最抢眼的参数是速度。面向高并发和低延迟场景的 MAI-Voice-2.1-Flash,模型推理延迟仅有约 45 毫秒。微软宣称,生成 45 秒音频的端到端延迟只有区区 150 毫秒。
它的价格压到了每 100 万字符 15 美元,比同类模型便宜约 60%。这意味着客服呼叫中心或者车载语音助手,哪怕日夜不休地吐字,成本也不会让人肉痛。
另一款标准版 MAI-Voice-2.1 推理延迟约为 550 毫秒,价格为每 100 万字符 22 美元。它牺牲了一点响应速度,把算力留给了细腻的语气和音质,专为有声书、播客旁白和内容创作量身定制。
更实用的功能是零样本声音克隆。开发者只需要一段几秒钟的参考音频,模型就能瞬间完成声音匹配,甚至不需要重新微调。两款模型都支持精细的情感控制,不管是冥想引导的平静、解说球赛的狂热,还是念莎士比亚时的戏剧腔,都能切换自如。
一个声音切换23种语言,还能自带地道口音
很多人在用多语言配音时都会遇到一个别扭问题:同一个角色切到外语后,不仅口音生硬,连音色也变味了。
MAI-Voice-2.1 系列覆盖了 23 种语言和 26 种本地化方言,包括简体中文、美式英语、英式英语、印式英语、日语和韩语等。模型最大的特点是支持跨语言音色保持。
简单说,同一个说话人的声音,前一句讲地道的普通话,下一句换成德语或英语,听起来仍然是同一个人,同时咬字还能带上当地的原生口音,不会带着浓重的中式或美式腔调跨语言硬读。
配合今天发布的 MAI-Transcribe-2-Streaming 听写模型,整个对话闭环就算搭齐了。那款听写模型在接收到音频约 100 毫秒内就能输出初步文本,还能连续自动识别 60 种语言。现在的首发尝鲜价是每小时音频 0.54 美元。
开发者目前已经可以通过 OpenRouter、Microsoft Foundry、MAI Playground、Vercel 和 Azure Voice Live 调用这些语音模型,LiveKit 的接入也已经在路上。官方还在 MAI Playground 上线了名为 Chatter 的实时演示。
为什么重要
做语音智能体,说白了就是在跟人类的生理容忍度抢时间。人的正常交谈停顿一般在两三百毫秒左右。智能体必须在极短时间内听清、理解、调用工具、生成回复并念出来,过去语音合成往往是吃掉时间最多的那块短板。
我们认为,微软这一步走得相当务实。它没有硬把所有指标揉进一个臃肿的模型里,而是把高音质创作和超快交互拆成了两套工具。45 毫秒的推理加上每百万字符 15 美元,直接把低延迟语音交互的商用门槛砸穿了。跨语言保持同音色的能力,对做全球化教育、出海游戏 NPC 或跨国客服的团队来说,也是肉眼可见的生产力提升。
不过,克隆门槛低到只需要几秒音频,安全风险就必然会被放大。虽然微软声称内置了知情同意的防护机制,但这种围栏到底防不防得住黑灰产冒充身份,依然有待真实业务环境的检验。对于普通开发者来说,现在不用去大费周章微调专用模型,直接拿现成的 API 跑通一套双向实时语音对话,显然已经划算太多了。
来源 (2)
- microsoft.ai(在新标签页打开)原文microsoft.ai
- microsoft.ai(在新标签页打开)报道microsoft.ai