UniAudio 2.0 开源：把语音合成、音效与音乐塞进同一个模型

如果你想给短视频配齐声音，通常得在几个不同的工具间来回切换：一个挑配音，一个搜音效，另一个再用来生成背景音乐。

UniAudio 2.0 想把这些活儿全包圆了。2026 年 2 月 4 日，这个统一音频语言模型宣布开源，把语音合成（TTS）、音效生成、音乐创作和音频风格控制塞进了同一套自回归架构里。目前项目的演示页面、代码和模型权重都已经放在了 GitHub 上。

把声音拆成两半来算

过去音频大模型最头疼的问题，是兼顾「听懂」和「好听」。如果把音频压缩成方便理解的语义标记，重建出来的音质往往很差；而专管高保真还原的波形编码，又很难拿来做复杂的文本推理。

UniAudio 2.0 提出的解法叫 ReasoningCodec。它把音频切分成了两套离散标记：一套是推理标记，负责跟文本对齐，专管高层语义分析与生成规划；另一套是重构标记，负责保留声学细节并还原波形。

在这个结构之上，团队喂给了模型 1000 亿文本 token 和 600 亿音频 token，通过多阶段和多任务训练，搭出了这套兼顾文本与音频的全能底座。

从粤语朗读到旁遮普民谣

从官方放出的能力演示来看，它的覆盖面相当杂食。

在基础的朗读任务上，它不仅支持英语和普通话，还能顺畅处理粤语朗读。

到了音效生成，只要输入一段文字描述，比如「人群欢呼鼓掌」或者「赛车呼啸而过伴随刺耳刹车声」，模型就能直接输出对应的环境音。

它甚至能按风格直接写歌。不管是旁遮普民谣、阿拉伯舞曲，还是用玻璃竖琴演奏的古典华尔兹，它都能顺着提示词给出编曲和人声；丢给它一段新歌词，它也能跟着节拍唱出来。

另一个亮点是名为 InstructTTS 的风格编辑能力。给一段现成的台词，只要加一句指令，模型就能把它实时转成「耳语风」，或者切换成激动大喊的语调。

不过就目前的演示表现来看，它离完美还有距离。音乐生成的音质不算顶尖，歌词在部分片段里会出现类似乱码的模糊发音，喊叫语气有时也有点放不开。但把这些五花八门的功能整合进单模型还能跑通，已经是相当难得的突破。

为什么重要

对开发者和独立创作者来说，单模型的工程价值远大于堆叠多个工具。以前为了配音、拟音和配乐，本地或云端必须同时部署好几套体积庞大的独立模型，维护成本极高。UniAudio 2.0 让人看到只跑一个模型就搞定多媒体音频工作流的可能，哪怕现在的音乐质量还不够专业级，但应付原型设计和独立游戏声效已经绰绰有余。

对行业而言，它再次验证了自回归大语言模型向全模态泛化的潜力。过去大家普遍认为 TTS 归自回归、音效归扩散模型、音乐归专属算法，彼此壁垒分明。UniAudio 2.0 证明只要前端的编解码设计合理，全音频任务完全可以在统一的序列生成框架下解决。

我们认为，这项工作里最聪明的其实是 ReasoningCodec 的拆解思路。把高阶认知规划与低阶声学重建剥离，既解决了跨任务理解的泛化难题，又没丢掉波形质量，这套架构很可能会成为下一代全能音频底座的标准范式。