Scenema Audio 公開：ト書きで感情を操る LTX 2.3 ベースの音声モデル

これまでの音声合成ツールは、原稿を綺麗に読み上げることは得意でも、「演技」をさせると途端に不自然さが露呈していました。どれだけ自然な声質でも、怒りや泣き声、息遣いといった生々しい感情表現を再現するのは困難でした。

ScenemaAI が公開した Scenema Audio は、まさにその壁を突破するために登場したモデルです。ゼロから独自の音声モデルを作るのではなく、Lightricks の 220 億パラメータを誇るオープンソース映像モデル LTX 2.3 から音声拡散トランスフォーマーを抜き出し、独立した音声生成エンジンとして再構築しました。

ト書きで AI に演技指導する

Scenema Audio 最大の特徴は、まるで役者に演技指導をするかのようにタグで抑揚を指示できる点です。

入力には XML 形式のプロンプトを採用しており、文章の合間にアクションタグを挟み込めます。最初は穏やかに話し始め、途中で声を震わせ、最後は深く息を吸ってため息をつくといった感情の変化を、単一の生成処理の中でなめらかに表現できます。

さらに、シーンに応じた環境音の自動合成にも対応しています。プロンプトに雷雨や人混みといったシチュエーションを記述するだけで、声の背後にリアルな環境音を重ね、激しい風雨の中で怒鳴りつけるような迫力ある演技を再現可能です。

ゼロショットの音声クローン機能も備えており、感情に起伏のある 10 から 20 秒のリファレンス音声を渡すだけで、その声質を保ったまま激しい怒りや叫び声を演じさせることができます。

16GB VRAM から動く軽量設計

システム内部では、テキストエンコーダに Google の Gemma 3 12B を採用し、8 ステップに蒸留された潜在拡散モデルと SeedVC を組み合わせて 48kHz ステレオ音声を出力します。英語や日本語、中国語など 13 の言語に対応しています。

動作要件も現実的なラインに収まっています。最小構成なら 16GB の VRAM と 32GB のメインメモリがあれば CPU 併用で動作可能です。24GB VRAM を持つ RTX 4090 で INT8 と NF4 の組み合わせを使えば、リアルタイム比 1.57 倍の高速処理が可能で、55 秒の音声を約 35 秒で生成します。

ただし、1 回の生成単位が約 15 秒に制限されている点や、複雑な固有名詞で発音が崩れることがある点、Gemma 3 の利用に Hugging Face 上での規約同意が必要な点には注意が必要です。

なぜ重要か

インディーゲームの開発者や映像制作者、ポッドキャスターにとって、今すぐ試す価値のあるツールが登場しました。これまで感情豊かなキャラクターボイスを用意するには、プロの声優に依頼するか、高価な商用 API に頼るしかありませんでした。それが民生用 GPU 上で手軽に実現できるインパクトは非常に大きいです。

技術面でも、大規模な映像生成モデルから音声生成部分だけを切り出して活用するというアプローチは非常に賢いやり方です。LTX 2.3 が映像との同期学習を通じて獲得した「現実世界の人間の声のリアリティ」が、単独の音声モデルとしてもしっかり機能することを証明しました。

演出タグを使って台本感覚で感情を指示できる操作体系は、クリエイターにとって直感的で実用性が高いと感じます。長い原稿の安定性や発音の精度にはまだ改善の余地があるものの、オープンソースの音声合成が単なる読み上げから本格的な演技の領域へと踏み出した重要な一歩です。