开源 2B 文本转语音模型:几秒音频克隆声音,5GB 显存可跑且可商用
一款 20 亿参数的开源文本转语音模型发布,只需几秒音频即可实现零样本声音克隆,连耳语和结巴等细节也能还原。该模型支持跨语言合成,基础大小仅约 5GB,能在消费级显卡上运行,并采用 Apache 2 许可证完全开放商用。
这周开源社区迎来了一个轻量级的文本转语音模型。虽然参数量只有 20 亿(2B),但它的零样本声音克隆能力非常扎实:只要给它一段几秒钟的参考音频,它就能用该音色流畅读出任意文本。
连耳语和结巴都能还原的小模型
更亮眼的是它对真实人声细节的捕捉。传统语音克隆往往显得过于平整或呆板,而这个模型连耳语时的气流感、说话紧张时的微小结巴都能一并还原出来。
它还支持跨语言生成。即便输入的参考声音完全不会讲某种外语,模型也能借用其音色生成自然的多语种发音。在衡量错误率与音色相似度的基准测试中,它的综合表现处于图表左上角,超过了 CTDTS、Vox CPM、Qwen 3 TTS 以及 Index TTS 2 等一众近期模型。
项目已经在 GitHub 上开源,采用极为宽松的 Apache 2 许可证,允许免费商业使用。基础模型大小仅约 5GB,普通消费级显卡就能轻松装下并本地运行。
为什么重要
高质量的拟真声音克隆,门槛终于被压到了普通硬件上。过去这类连细微语调都能还原的克隆效果,大多依赖云端商业 API,不仅按次收费,还有数据隐私顾虑。现在一张单卡就能在本地搞定,创作者拿来做多语种配音或播客本土化的成本瞬间被砸平。
我们认为,完全开放商用的 Apache 2 协议是它最大的杀伤力。这种小体积加高表现的组合,会直接逼着收费型配音工具降价或转型。但不可忽视的是,只需几秒音频就能零样本克隆出逼真音色,本地防伪和声音反欺诈的压力显然更大了。
来源 (1)
- x.com(在新标签页打开)原文x.com