Scenema Audio公開：声質と感情を分離、ト書きで演技を指示できる音声クローン

従来の音声クローンを使ったことがある人なら、誰しも同じ壁にぶつかった経験があるはずです。穏やかに話す音声をリファレンスとして読み込ませると、生成される台詞もすべて平坦な読み上げになってしまい、怒りの叫び声を出させたいなら怒っている音声クリップを探してくるしかありませんでした。

Scenema AIがオープンソース化した音声生成モデル「Scenema Audio」は、この制約を打ち破るツールです。

動画生成モデルLTX 2.3から音声拡散モデル部分を抽出して作られており、最大の特徴は「声質（Identity）」と「演技表現（Performance）」を完全に切り離した点にあります。必要なのは数秒間のクリアなリファレンス音声だけで、感情やテンポ、呼吸の乱れはすべてテキストのト書き（指示文）から生成できます。

ト書き1行で冷静な声を激昂させる

公開されたデモでは、落ち着いた冷静な語り口のリファレンス音声に対し、「宝くじを見つめ、手が震え、衝撃から抑えきれない興奮へと声が高ぶる」というシーン指示を与えています。すると生成された音声は、呼吸を荒らげ、歓喜で声を上ずらせながら台詞を叫び始めます。

従来の音声合成では、リファレンス音源のトーンに感情が縛られていました。しかしScenema Audioでは、まずプロンプトから感情豊かな演技の波形を生成し、そこにリファレンスの声質だけを重ね合わせます。そのため、怒った音声データが存在しない人物であっても、激昂した演技をさせることが可能です。

感情だけでなく方言や訛りの変更にも対応しています。オーストラリア英語を話す女性の声をリファレンスにしつつ、プロンプトで「アメリカ英語」「笑いを堪えきれずに吹き出す」と指定すれば、流暢なアメリカ英語で笑い転げながらジョークを言う演技へと早変わりします。

さらに、台詞の途中にアクションタグを挟むことで、文の途中で抑圧された怒りから取り乱すような感情変化をつけることも可能です。オバマ氏の英語音声からスペイン語、フランス語、ドイツ語、スワヒリ語などを喋らせる多言語クローンや、リファレンスなしで「暖炉のそばで語る温かい老人の声」をゼロから生み出す音声デザイン機能も備えています。

動画生成モデルから抽出された仕組み

興味深いのは、このモデルがゼロから作られた独立型の音声合成ではなく、オープンソース動画生成器LTX 2.3から切り出された点です。優れた動画基盤モデルの内部にある音声生成機構が、単体でも極めて高い表現力を持つことに着目したアプローチです。

コードとモデルウェイトはGitHubおよびHugging Faceで公開されており、ローカルで動かせるGUIも用意されています。量子化モデルをローカル実行する場合、最低16GBのVRAMと32GB以上のシステムメモリが必要です。

なぜ重要か

Scenema Audioが解決したのは、AIナレーションに付きまとっていた「棒読み感」です。

インディーゲーム開発者や映像クリエイターにとって、台詞の抑揚や演技をAIで表現するのは至難の業でした。ト書きを使って演出家のように演技や呼吸をコントロールできる仕組みは、少人数制作の現場にとって強力な武器になります。

また、動画モデルのサブモジュールを単体ツールとして切り出す設計は非常に賢い試みです。専用のTTSモデルを巨額のコストをかけて訓練しなくても、高度なマルチモーダルモデルから有用な機能を再利用できることを証明しました。

16GBのVRAMと32GBのRAMという動作環境は一般的なノートPCにはやや重く、学習データが少ない言語での発音の揺れといった課題は残っています。それでも、クラウドの利用料を気にせずローカルで本格的な声の「演技」を試せる価値は非常に高いと言えます。