ElevenLabs、「Dubbing v2」APIを提供開始　感情や抑揚を保ち90以上の言語に対応

従来の AI 吹き替えは、翻訳されたとたんに元の役者の感情が抜け落ち、棒読みのナレーションになってしまうのが弱点でした。

ElevenLabs は 8 月 6 日、Dubbing v2 を開発者向け API である ElevenAPI 経由で一般公開しました。自社プロダクトや制作フローに、高度な吹き替え機能を直接組み込めるようになります。

演技のニュアンスを残し、方言まで描き分ける

Dubbing v2 の最大の特徴は、元の音声の演技そのものを学習条件として音声を生成する点です。これにより、話者のトーンや感情、語り口のニュアンスを維持したまま、90 以上の言語へ吹き替えられます。

さらに同期を考慮した翻訳ロジックを搭載しており、音声の開始と終了のタイミングが自動で映像と合致します。

地域ごとのアクセント再現力も向上し、カスティーリャ地方のスペイン語と中南米のスペイン語の差なども正確に捉えます。BGM や効果音、複数人が同時に話すシーンの分離処理も強化されました。

翻訳、音声クローン、吹き替え、タイミング同期までを単一の API で完結できます。手動で原稿を修正したり、変更した特定のセグメントだけを再生成したりすることも可能です。

なぜ重要か

これまで字幕翻訳や音声合成ツールを継ぎ接ぎして作っていたローカライズ作業が、API ひとつで完結するようになった意義は大きいと考えます。海外展開を進める動画クリエイターや教育サービスにとって、多言語化のコストは一気に下がります。

特に実用的なのは、セグメント単位の再生成に対応した点です。1 単語のミスを直すために動画全体を再レンダリングする手間とコストが省けるため、プロの制作現場でも現実的な選択肢になります。

ただし、言語間で音節数が大きく異なる場合、タイミングを合わせるために早口になってしまう懸念は依然残ります。短納期の Web 動画や教材の大量展開には今すぐ試す価値がありますが、長編映画のような緻密な演技指導が求められる領域では、まだ人間のディレクションが欠かせないと見ています。