ElevenLabs、「Dubbing v2」を発表　多言語吹替でも感情表現を維持

従来の AI 吹き替えで最も不自然だったのは、発音の正確さではなく感情の欠如でした。映像の中の人物が取り乱して叫んでいても、吹き替えられた音声は機械の棒読みのように冷めていることが珍しくありませんでした。

ElevenLabs は、この課題の解消を目指す新しい吹き替えモデル「Dubbing v2」を公開しました。

演技とニュアンスをそのまま別言語へ

ElevenLabs によると、Dubbing v2 は元のコンテンツが持つ感情や演技のニュアンスを、あらゆる対象言語へそのまま引き継ぐよう設計されています。同社は、元音声の感情の起伏をそのまま多言語に持ち越せる吹き替えモデルは今回が初であると説明しています。

声質を真似てテキストを翻訳するだけでなく、元の演技に含まれる息遣いや興奮、細かなトーンの変化を保ったまま吹き替え音声を生成できる点が特徴です。

なぜ重要か

映画やドラマのローカライズ、ゲーム開発、海外展開を目指すクリエイターにとって、翻訳コストと品質のバランスを大きく変える可能性があります。これまでは現地の声優を起用して演技を再現する必要がありましたが、その手間の多くをツール上で完結できるようになるためです。

音声合成の競争は、単に人間らしく話す段階から、演技ができる段階へと移行したように見えます。ElevenLabs が感情表現の保持に踏み込んだのは的確な判断と言えますが、言語や文化圏によって自然とされる感情表現の強弱は異なるため、どの言語でも違和感なく響くかどうかは今後の検証が必要です。