UniAudio 2.0 開源：把語音合成、音效與音樂塞進同一個模型

如果你想給短影片配齊聲音，通常得在幾個不同的工具間來回切換：一個挑配音，一個搜音效，另一個再用來生成背景音樂。

UniAudio 2.0 想把這些活兒全包圓了。2026 年 2 月 4 日，這個統一音訊語言模型宣佈開源，把語音合成（TTS）、音效生成、音樂創作和音訊風格控制塞進了同一套自迴歸架構裡。目前專案的演示頁面、程式碼和模型權重都已經放在了 GitHub 上。

把聲音拆成兩半來算

過去音訊大模型最頭疼的問題，是兼顧「聽懂」和「好聽」。如果把音訊壓縮成方便理解的語義標記，重建出來的音質往往很差；而專管高保真還原的波形編碼，又很難拿來做複雜的文本推理。

UniAudio 2.0 提出的解法叫 ReasoningCodec。它把音訊切分成了兩套離散標記：一套是推理標記，負責跟文本對齊，專管高層語義分析與生成規劃；另一套是重構標記，負責保留聲學細節並還原波形。

在這個結構之上，團隊餵給了模型 1000 億文本 token 和 600 億音訊 token，通過多階段和多工訓練，搭出了這套兼顧文本與音訊的全能底座。

從粵語朗讀到旁遮普民謠

從官方放出的能力演示來看，它的覆蓋面相當雜食。

在基礎的朗讀任務上，它不僅支援英語和普通話，還能順暢處理粵語朗讀。

到了音效生成，只要輸入一段文字描述，比如「人群歡呼鼓掌」或者「賽車呼嘯而過伴隨刺耳剎車聲」，模型就能直接輸出對應的環境音。

它甚至能按風格直接寫歌。不管是旁遮普民謠、阿拉伯舞曲，還是用玻璃豎琴演奏的古典華爾茲，它都能順著提示詞給出編曲和人聲；丟給它一段新歌詞，它也能跟著節拍唱出來。

另一個亮點是名為 InstructTTS 的風格編輯能力。給一段現成的臺詞，只要加一句指令，模型就能把它即時轉成「耳語風」，或者切換成激動大喊的語調。

不過就目前的演示表現來看，它離完美還有距離。音樂生成的音質不算頂尖，歌詞在部分片段裡會出現類似亂碼的模糊發音，喊叫語氣有時也有點放不開。但把這些五花八門的功能整合進單模型還能跑通，已經是相當難得的突破。

為什麼重要

對開發者和獨立創作者來說，單模型的工程價值遠大於堆疊多個工具。以前為了配音、擬音和配樂，本地或雲端必須同時部署好幾套體積龐大的獨立模型，維護成本極高。UniAudio 2.0 讓人看到只跑一個模型就搞定多媒體音訊工作流的可能，哪怕現在的音樂質量還不夠專業級，但應付原型設計和獨立遊戲聲效已經綽綽有餘。

對行業而言，它再次驗證了自迴歸大語言模型向全模態泛化的潛力。過去大家普遍認為 TTS 歸自迴歸、音效歸擴散模型、音樂歸專屬演算法，彼此壁壘分明。UniAudio 2.0 證明只要前端的編解碼設計合理，全音訊任務完全可以在統一的序列生成框架下解決。

我們認為，這項工作裡最聰明的其實是 ReasoningCodec 的拆解思路。把高階認知規劃與低階聲學重建剝離，既解決了跨任務理解的泛化難題，又沒丟掉波形質量，這套架構很可能會成為下一代全能音訊底座的標準範式。