ElevenLabsが「AI Dubbing」公開：本人の声のまま20言語以上に吹き替え

海外の動画を見るとき、字幕を追い続けるのが疲れたり、吹き替えの別人の声に違和感を覚えたりした経験は誰にでもあるはずです。

音声AIを開発するElevenLabsは10月10日、新機能となる「AI Dubbing」を正式にリリースしました。数分で音声や動画を別言語へ翻訳・吹き替えることができ、最大の特徴は話者本人の声質をそのまま維持できる点にあります。

20言語以上に対応し感情や話者分離も自動化

このツールは同社の「Eleven Multilingual v2」モデルを基盤にしており、日本語をはじめ、ヒンディー語、ポルトガル語、スペイン語、ウクライナ語、ポーランド語、アラビア語など20以上の言語に対応しています。

単に言葉を置き換えるだけでなく、元の話し手が持つ感情の起伏や抑揚まで引き継ぐ点が大きな特徴です。機械的な棒読みにならず、本人が話しているかのようなニュアンスを再現します。

また、現実の動画にはBGMや環境音がつきものですが、ElevenLabsは背景ノイズや音楽と会話音声を切り離す技術を独自に実装しました。さらに複数の話者を検知するアルゴリズムも備えており、対談動画などでもそれぞれの声を識別して個別に声質を維持したまま吹き替えられます。

同社は先日、長尺音声の生成や編集を支援する「Studio」を公開したばかりであり、今回のAI Dubbingによって、制作から多言語展開までを一気通貫でカバーする体制を整えつつあります。

なぜ重要か

クリエイターや教育関係者にとって、世界展開のハードルを一気に引き下げる実用的なツールになると考えられます。同社の指摘によると、世界人口のうち英語を母国語とする人はわずか6パーセント、英語を一切話さない人は75パーセントにのぼります。これまでは莫大な外注費と時間がかかっていた多言語ローカライズが、数クリックかつ低コストで試せるようになります。

業界全体で見れば、従来の標準的な吹き替えスタジオや翻訳代行業者は厳しい価格競争とスピード競争に晒されることになります。特にYouTube動画や社内教育用ビデオのような大量消費型コンテンツでは、AIによる自動吹き替えへの移行が急速に進むはずです。

音声分離や話者認識、感情表現の維持をワンストップでまとめた製品設計は非常に巧みです。一方で、現時点では映像側の口の動きを合わせるリップシンク機能については言及されていません。どれだけ声が本人そっくりでも口元と発音がズレていれば違和感は残るため、映像合成ツールとの連携が次の重要な焦点になりそうです。