Resemble AI、台本形式で笑い声やため息まで演じ分ける音声モデル「DramaBox」公開

音声合成ツールを使っていて、誰もが一度はぶつかる壁がある。発音やイントネーションは正確なのに、どうしても感情の起伏が不自然で、平坦に聞こえてしまう問題だ。

これまでは感情タグを細かく挿入したり、スライダーで数値を微調整したりして人間らしさを出そうとしていた。しかし、生身の俳優に向かって「感情の強さを20%上げて」と指示する演出家はどこにもいない。

こうした課題に対し、Resemble AI は 5 月 13 日、自然言語による演技指示に対応した音声生成モデル「DramaBox」を公開した。機械的なパラメータ調整を捨て、提示された解決策は極めてシンプル、プロンプトをそのまま脚本にしてしまうことだった。

引用符の外側はすべて「ト書き」になる

DramaBox の使い方は、映画や演劇の台本そのものだ。

入力テキストは2つの領域に明確に分かれる。ダブルクォーテーションで囲んだ部分がキャラクターの口にするセリフとなり、引用符の外側に書かれた文章はすべてト書き（演技指示）として解釈される。

たとえば「冷たい怒りをたたえた女性が深くため息をつき、『もう千回も言ったはずよ』と静かに言い放つ」と記述すれば、モデルは冒頭に重いため息の音を挟み、押し殺した怒りを込めてセリフを紡ぐ。

セリフの途中で笑い転げて息が詰まる様子や、急に声をひそめて囁きかける演技も、自然な文章で指示するだけで生成できる。擬音語を無理に読み上げさせるのではなく、息遣いや笑い声そのものを音声として再現してくれるのが特徴だ。

さらに音声クローン機能も備えており、10 秒程度の音声クリップを渡せばその声色を維持したまま指示通りの演技をさせられる。参照音声を指定しない場合は、シーン設定に合った独自の声をモデルが自ら作り出す。

3.3B パラメータと 24GB の高いハードル

モデル構成としては、3.3B パラメータの音声専用拡散 Transformer と、4bit 量子化された Gemma 3 12B テキストエンコーダーを組み合わせており、動画モデル LTX 2.3 の知見も取り入れられている。

出力は 48kHz のステレオ音声（AAC または WAV）に対応し、ウォームアップ済みの H100 上であれば約 2.5 秒で生成が完了する。

Resemble AI はこのモデルの重みとローカル実行手順をオープンに公開した。ただし、手元の PC で動かすハードルは決して低くない。

音声モデル自体が約 7GB、テキストエンコーダーが 8GB あり、システム全体のピーク VRAM 使用量は 24GB に達する。16GB 程度の環境でも工夫次第で動く可能性はあるものの、基本的にはハイエンド GPU が求められる仕様だ。

また、欧州 AI 法などの規制強化を見据え、音声信号そのものに知覚できない電子透かしを埋め込む「Resemble Watermarker」を標準搭載した。圧縮や再エンコードを経てもほぼ 100% の精度で検出できるという。オープンソース機械学習エンジニアの Joshua Lochner 氏も本モデルを称賛し、Resemble TTS ファミリーの Hugging Face での累計ダウンロード数が 1000 万回を突破したことを明かしている。

なぜ重要か

DramaBox の優れた点は、音声合成の操作体系を「機械のパラメータ」から「人間の直感」へと引き戻したことにある。

これまでゲーム開発者やポッドキャスト制作者は、感情の乗った音声を得るために無数のテイクを切り貼りするか、扱いにくいタグと格闘する必要があった。脚本形式で演技を付けられる仕組みは、制作現場の試行錯誤を劇的に減らしてくれる。

24GB という VRAM 要件は一般的な個人開発者にとって依然として高い壁だが、表現力豊かなモデルがローカル環境向けに提供された意義は小さくない。

さらに、演技の自由度を高めるだけでなく、強固な電子透かしを最初から組み込んで公開した点も極めて賢明だ。単にリアルな声を生成するだけでなく、悪用防止や法的リスクへの備えを両立させてこそ実用に耐えうるという、今後の音声 AI の標準形を示している。