OmniVoice 开源：支持 600 多种语言，几秒音频即可跨语种克隆

以前想让一段配音跨越不同语种，你不仅要找到合适的多语种声优，还要花费大量时间调整语气和情感。哪怕用现有的语音克隆工具，遇到冷门语种往往也只能抓瞎。

研究人员正式开源了零样本语音合成模型 OmniVoice。它最惊人的地方在于，一口气将支持的语种规模扩展到了 600 多种，而且模型权重和代码已经全部公开。

几秒克隆音色，还能用文字凭空造人声

根据公开的演示，OmniVoice 只需要几秒钟的参考音频和文字转写，就能完成高质量的声音克隆。

它克隆的不只是音色，还有说话人的语气甚至叹息。在一段英文演示里，一段略带威胁口吻的台词被克隆后，新生成的句子依然保留了那种压迫感。

更亮眼的是跨语种声音迁移。你可以输入一段仅仅 4 秒钟的英文日常对话，模型就能让同一个声音操着原有的音调去说地道的日语、韩语、俄语或法语。

如果你手里连参考音频都没有，OmniVoice 也支持直接通过文本提示词捏造声音。你可以直接要求它生成带印度口音的高音男声，或者年长的英国女性口音。

在生成过程中，用户还能打上笑声、不满或惊讶等情绪标签，模型会按照标签的要求调整情绪表达。

甩掉传统两阶段的包袱

支持 600 多种语言不是一件容易的事。以往的离散非自回归语音模型大多依赖复杂的两阶段流水线，先将文本转为语义表示，再转为声学特征，在语种变多时极易出现性能瓶颈。

OmniVoice 采用了一种扩散语言模型风格的离散非自回归架构，跳过了中间繁琐的步骤，直接把文本映射为多码本声学 token。

为了保证发音清晰可懂，团队直接使用了预训练大语言模型进行初始化，让模型自带深厚的语言理解底子。

在训练技巧上，他们采用了全码本随机掩码策略来提升训练效率，并基于完全开源的数据清洗出了一个高达 58.1 万小时的多语言数据集。

在中文、英文以及 FLEURS-102 等多语言基准测试中，该模型都拿到了领先的成绩。

为什么重要

对于出海内容创作者和独立游戏开发者来说，OmniVoice 的开源意味着多语种本地化的门槛被彻底打碎。你不需要为几十个国家的发行版本分别寻找配音团队，用一段主声音就能批量生成全语种物料。

对整个语音行业而言，多语种覆盖以往是大型商业公司的独门壁垒。OmniVoice 证明了完全依托开源公开数据，也能训练出覆盖 600 多种语言的前沿语音底座，这将迫使商业语音服务加快降价和开放的步伐。

我们认为这项研究走得最聪明的地方，在于直接借用预训练大模型来托底语音的清晰度，绕开了传统流水线的累赘结构。不过，在 600 多种语言里，那些数据极度稀缺的超小语种在真实场景中的长文本表现到底如何，依然需要开源社区的大规模检验。