LightricksがScenAを発表：テキストと音声サンプルから臨場感ある多人数会話を一発生成

従来のAIによる対話音声を聞くと、無響室のようなスタジオで二人が台本を順番に読み上げているような不自然さを感じることが少なくありません。現実の会話にあるような言葉の重なり、咳払いや笑い声、周囲の環境音を再現するのは極めて困難でした。

イスラエルのLightricksとテルアビブ大学が発表した音声生成モデル「ScenA」は、この壁を破ろうとしています。自由なテキストプロンプトといくつかの参照音声を渡すだけで、最長20秒の会話シーン全体を1回の処理で丸ごと生成します。

「スタジオ無響室」から現実の空気感へ

既存の多人数音声合成システムは、話者ごとのタグや発話単位で整理されたスクリプトを必要とするものが大半でした。綺麗な声だけを生成し、後から環境音を手作業で足すため、どうしても作られた感が出てしまいます。

ScenAのアプローチは根本から異なります。Web上の多様な実環境データで事前学習されたFlow-matching音声基盤モデルを採用し、参照音声の潜在表現をシーケンスに直接連結。話者の同一性を認識する軽量な位置エンコーディングによって人物を識別します。

これにより、会話の背後で鳴る風の音やカフェの雑音、部屋の反響、さらには相手の言葉を遮るような発話の重なりまで、すべてが最初から混ざり合った状態で出力されます。

公開されたデモでは、二人が息を合わせて叫ぶ場面や、一方が激しく咳き込んで謝るリアルな掛け合いが確認できます。参照音声を1つだけ与え、もう一人の話し手は「低い声の船乗り」などとテキストで指定するだけでも自然な対話が成り立ちます。参照話者は最大3人まで対応しています。

モデルの「手抜き」を防ぐ訓練設計

しかし、この手法には「参照の近道（Reference Shortcut）」という特有の技術的課題がありました。

通常のノイズスケジュールで学習を行うと、モデルは音響的な類似度だけを頼りに生成対象と参照音声をマッチングさせてしまい、テキストプロンプトの指示を無視して発話を割り振る「手抜き」を覚えてしまうのです。

研究チームは、高ノイズに偏らせたタイムステップ分布を導入してこの問題を解決しました。音響的な手がかりを強いノイズで覆い隠すことで、モデルにプロンプトをしっかり読ませ、文脈から話者を割り振るよう強制した格好です。その結果、CoVoMix2-Dialogueベンチマークにおいて、ZipVoice-DialogやMOSS-TTSDといった既存手法を話者割り当て精度などで上回りました。

なぜ重要か

ポッドキャスト制作者やインディーゲーム開発者、映像クリエイターにとって、ScenAのような技術は作業手順を根本から変える可能性を秘めています。従来のように個別音声を録音・生成してタイムライン上で重ね、リバーブや環境音を微調整する手間が、プロンプトひとつで数秒に短縮されるためです。

業界全体にとっても、音声合成（TTS）と環境音・効果音生成の境界線を取り払った点で大きな転換点と言えます。会話を単なる「言葉の連なり」ではなく「その場の空気を含んだ音響空間」としてエンドツーエンドで生成するアプローチの有効性が示されました。

プロンプトの指示に従わせるためにノイズ分布を調整した工夫は非常に合理的だと考えられます。一方で、現時点の検証は20秒程度の短いシーンにとどまっています。より長時間の会話において話者の声質をどこまで安定して維持できるか、複雑な場面展開に破綻なく追従できるかが、今後の実用化に向けた焦点となるでしょう。