Zyphra 开源语音模型 ZONOS2:8B 参数 MoE,支持 44.1 kHz 声音克隆
Zyphra 开源语音合成模型 ZONOS2,采用总参数 80 亿、激活 9 亿的 MoE 架构,基于超 600 万小时音频训练。它能以低延迟实现 44.1 kHz 高保真声音克隆,首批支持中英日等多种语言,遵循 Apache 2.0 协议并提供本地推理服务。

Zyphra 开源的 ZONOS2 是一个主打高保真声音克隆的语音合成模型。它采用混合专家(MoE)架构,总参数量达 80 亿,但实际推理时仅激活 9 亿参数。
模型基于超过 600 万小时的多语言语音数据训练,能够生成采样率 44.1 kHz 的高质量音频,官方称其表达力和自然度可以媲美甚至超越主流商用语音服务。
它能做什么
ZONOS2 最核心的卖点是低延迟与高质量的声音克隆。
在语言支持上,它划分了三个梯队。第一梯队直接包含英语、普通话和日语;第二梯队支持韩语、德语、法语、西班牙语、俄语等十种语言;第三梯队则覆盖了波兰语、印尼语、泰语等数十种语言。
在技术链条上,模型在推理阶段使用 nemo TN 对 UTF-8 字节进行文本归一化,通过 ECAPA-TDNN 提取声音嵌入特征,再由 MoE 主干网络生成 DAC token,兼顾了生成质量与推理速度。
怎么跑起来
想要在本地运行 ZONOS2,目前需要一定的硬件门槛。
环境方面仅支持 Linux(x86_64)系统,并且需要配备安装了对应驱动的 NVIDIA 显卡。部署过程依赖 uv 工具,代码已在 GitHub 开源,模型权重也已上传至 Hugging Face。
官方基于 Mini-SGLang 打造了一个高性能推理服务。启动后,本地 1919 端口会提供一个 Web 界面,只要指定存放参考音频的目录,服务就会自动扫描音频文件并提取说话人特征,支持快速试听克隆效果。
除了 Web 界面和 HTTP 接口,开发者也可以直接通过 Python 离线脚本调用 TTSLLM 类进行批量生成。不想折腾本地环境的用户,可以在 Zyphra Cloud 的音频试玩页面免费体验。
项目整体采用宽松的 Apache 2.0 协议开源,允许自由商用和二次开发。
为什么重要
对于需要私有化部署语音服务的团队来说,ZONOS2 补齐了开源社区在大规模 MoE 语音模型上的空白。80 亿总参数保证了音色的丰富度和多语言泛化能力,而 9 亿活跃参数则把单次推理开销压到了很低的水平,非常适合实时对话助手或低延迟播报场景。
我们认为,它的开箱即用体验做得相当扎实,直接配套了基于 SGLang 优化的服务端和自动音色扫描。唯一的硬伤是目前严格限制在 Linux 和 NVIDIA 显卡环境,普通个人开发者如果手头没有合适的云端算力,门槛依然不低。
来源 (2)
- @ZyphraAI(在新标签页打开)原文x.com
- huggingface.co(在新标签页打开)报道huggingface.co