D-IDがAI動画翻訳ツールを発表、音声クローンと口の動きの同期に対応

数年前に古い家族写真を動かして喋らせるトレンドで一躍話題となったイスラエルのAI企業D-IDが、実用的な動画翻訳市場へ本格参入しました。

同社は、動画内の音声を別言語に翻訳するだけでなく、話者の声をクローンし、翻訳後の発音に合わせて唇の動きまで同期させる新機能「AI Video Translate」を公開しました。

この機能は、同社独自開発のAIモデル「Rosetta-1」を基盤としており、D-ID StudioおよびAPI経由で利用できます。対応言語は日本語、中国語（標準語）、アラビア語、ヒンディー語、スペイン語、フランス語など計30言語に及び、1カ月間の試用版も用意されています。

5分以内・正面向きの単独話者が条件

手軽に多言語化できる一方で、現時点ではいくつかの撮影条件が課されています。

動画の長さは10秒から5分以内、ファイルサイズは2GB以下に制限されています。さらに、画面内には1人だけが映っている必要があり、良好なリップシンク結果を得るためには常にカメラに正面を向け、顔全体が見えている状態を保たなければなりません。

料金面では、既存のD-ID有料プラン契約者向けに追加費用なしで提供されています。年間プランは最安で56ドルから用意されており、最上位プランは年額1293ドル、それ以上はエンタープライズ向けの個別見積もりとなります。同社は2022年にシリーズBで2500万ドルを調達しており、企業のマーケティングやSNS展開における多言語化コストの削減を狙っています。

激化するリップシンク・動画翻訳の競合環境

多言語吹き替え自体は、YouTubeがMrBeastなどのトップクリエイター向けに提供を開始したことで注目を集めましたが、AIの進化により参入障壁は一気に下がりました。

マイクロソフトはYouTube動画のリアルタイムAI翻訳・吹き替えを発表し、7月にはVimeoが話者の声を再現する翻訳機能を公開しました。さらにElevenLabs、Descript、Veed、Captions.ai、そしてアバター動画で先行するHeyGenなど、音声クローンとリップシンクを組み合わせたツールは乱立状態にあります。

なぜ重要か

海外向けの製品解説や教育コンテンツを発信するクリエイターや中小企業にとって、外部の翻訳・吹き替え業者を使わずに本人の声と口元のままで30言語に展開できる価値は小さくありません。年額56ドルから試せる価格設定も手頃です。

ただし、5分以内の単独話者かつカメラ正面限定という仕様は、インタビュー動画や対談、動きの多いVlogには使えず、活用先が「カメラ目線の一人喋り」に限られるのが現状の弱点と言えます。

業界全体で見れば、声の複製とリップシンクのセット提供はもはや差別化要素ではなく標準機能になりつつあります。オープンソースのリップシンク技術も進化する中、D-IDの独自モデル「Rosetta-1」がどこまで自然な表情と発音を維持できるかが、HeyGenなどの競合から顧客を維持するための生命線になりそうです。