統合型音声言語モデル「UniAudio 2.0」公開、音声合成から効果音・音楽生成まで1つで対応

動画やゲームの音響を作ろうとすると、ナレーション用の音声合成、効果音生成、そしてBGM用の音楽生成と、別々のAIツールを行き来するのがこれまでの常識でした。

UniAudio 2.0 は、その作業を1つのモデルにまとめようとしています。2026年2月4日、音声合成（TTS）、効果音生成、楽曲生成、さらには発話スタイルの編集までを単一の自己回帰アーキテクチャに統合したオープンソースモデルが公開されました。コードとチェックポイントはすでにGitHubで入手可能です。

音声を「思考用」と「復元用」に分解する

これまでの音声基盤モデルにおける最大の壁は、音声の理解と高音質な生成を両立させることの難しさにありました。テキストと言語的に結びつきやすいトークンを使うと音質が劣化し、波形再現を重視したコーデックを使うとテキストによる制御が効きにくくなるためです。

UniAudio 2.0 は「ReasoningCodec」と呼ばれる離散音声コーデックを導入してこの問題を突破しました。音声をテキストと整列して意味解析や生成計画を担う「推論トークン」と、豊かな音響情報を保持してクリアな波形を復元する「再構成トークン」の2つに分解して処理します。

この基盤をもとに、モデルは1000億（100B）のテキストトークンと600億（60B）の音声トークンを用いてマルチステージ・マルチタスク学習が行われ、多様な音響タスクをこなす汎用基盤へと仕上げられました。

広東語の朗読からパンジャブ民謡まで

公開されたデモを聴くと、カバーしている領域の広さに驚かされます。

通常の音声合成では英語や中国語の標準語だけでなく広東語の読み上げにも対応しています。

効果音生成では、「大歓声と拍手」や「急接近してタイヤを軋ませるレーシングカー」といったテキストプロンプトを与えるだけで、リアルな環境音を直接合成できます。

音楽生成機能も備えており、パンジャブ民謡やアラビックダンス、さらにはグラスハープのワルツといったマニアックなジャンルまで生成可能です。歌詞テキストを与えれば、それに合わせたボーカル付き楽曲も歌い上げます。

さらに InstructTTS と呼ばれる指示付き音声合成を使えば、通常のセリフを「ささやき声」に切り替えたり、「叫び声」のトーンへとダイナミックに変化させることができます。

もっとも、現時点のクオリティには課題もあります。音楽の解像度は専用モデルに比べるとやや荒く、歌詞が一部崩れて聴こえたり、叫び声の迫力がやや足りなかったりする場面も見られます。それでも、これらすべてのタスクが1つの軽量な仕組みの上で破綻なく動いている点は注目に値します。

なぜ重要か

クリエイターや個人開発者にとって、音声スタックを単一モデルに集約できるメリットは絶大です。TTS用、効果音用、BGM用と複数の巨大なモデルを個別でホスト・運用するコストと複雑さから解放されます。完成度として商用音楽のマスター音源には届かないとしても、インディーゲームのプロトタイプやショート動画の仮当て音源としては今すぐ試す価値があります。

業界全体にとっても、各音響タスクを個別特化型モデルではなく、単一の自己回帰言語モデルで網羅できる道筋を示した意義は小さくありません。拡散モデルや専用エンジンに頼らなくても、適切なトークン設計さえあればテキストモデルと同様のアプローチで音を扱えることが証明されました。

私たちは、この「ReasoningCodec」による推論と再構成の分離アプローチこそが最も賢い選択だと考えています。意味理解の柔軟性を保ちながら音響の質を落とさないこの構成は、今後のマルチモーダル音声基盤モデルにおける標準的な設計パターンになっていくはずです。