600以上の言語に対応する音声合成「OmniVoice」公開、数秒の音声で感情ごとクローン

異なる言語で同一の声を再現しようとすると、これまでは不自然な機械音に悩まされるか、言語ごとに声優を雇うしかありませんでした。特にマイナーな言語となると、そもそも選択肢すら存在しないのが実情です。

研究チームは600以上の言語をカバーするゼロショット音声合成モデル「OmniVoice」をオープンソースとして公開しました。コードと事前学習済みモデルの重みは、すでに誰でも利用可能な状態になっています。

数秒の音声で感情を再現、テキスト指示から声を作ることも

公開されたデモによると、OmniVoiceはわずか数秒のリファレンス音声と書き起こしテキストを与えるだけで、高精度な音声クローンを実行できます。

単に声質を似せるだけでなく、緊迫感や話し方のニュアンスといった感情の起伏までそのまま再現するのが大きな特徴です。

さらに強力なのがクロスリンガル音声移行です。わずか4秒程度の英語の日常会話サンプルを入力するだけで、同じ声質のまま日本語、韓国語、ロシア語、フランス語などを自然に発話させることができます。

参照できる音声が手元にない場合でも問題ありません。プロンプトによる指示だけで新しい声を一から生成可能です。「インド英語訛りの高い男性の声」や「年配の英国女性の声」といった指定に柔軟に応えます。

さらに「笑い」「不満」「驚き」といった感情タグをテキスト内に挟み込むことで、発話のトーンを細かく演出することも可能です。

従来の2段階パイプラインを刷新した技術

600言語を超えるスケールに対応するため、OmniVoiceは従来の構造を根本から見直しました。

従来の離散非自己回帰型モデルは、テキストを意味特徴に変換し、それを音響特徴に変換するという2段階のパイプラインを採用しており、多言語化の際にボトルネックになりがちでした。

OmniVoiceは拡散言語モデルに着想を得た離散非自己回帰アーキテクチャを採用し、テキストからマルチコードブック音響トークンへ直接マッピングを行っています。

発話の明瞭さを保つため、モデルの初期化には事前学習済みの大規模言語モデル（LLM）が活用されています。

学習にはフルコードブックのランダムマスキング戦略が用いられ、すべてオープンソースから収集された58万1000時間もの多言語音声データセットで訓練されました。中国語や英語、FLEURS-102などの主要ベンチマークでトップクラスの精度を記録しています。

なぜ重要か

個人開発者やグローバル展開を目指すコンテンツ制作陣にとって、OmniVoiceは多言語ローカライズの費用を一気にゼロに近づける武器になります。1人のキャラクターボイスをそのまま世界各国の言語にローカライズできる実用性は絶大です。

音声AI業界全体にとっても、多言語対応という巨大テック企業の防壁がオープンソースによって打ち破られた意味は小さくありません。オープンデータのみで58万時間を集めて最高峰の性能が出せることを実証したためです。

事前学習済みLLMを初期値に使って発話の明瞭度を担保した判断は非常にスマートだと感じます。一方で、600言語の中でも極めて話者数が少ない言語において、長文の読み上げや文脈理解がどこまで耐えうるかは今後のコミュニティによる検証が必要です。