Meta、Reels向けAI翻訳を拡大：本人の声で自動吹き替え、唇の動きも同期

Instagramで海外のクリエイターが流暢なスペイン語を話し、唇の動きまで完璧に合っている動画を見かけても、本人が語学を習得したとは限りません。AIが口元の動きごと吹き替えている可能性があります。

MetaはFacebookおよびInstagramのReels向けに提供しているAI翻訳ツールの利用対象を拡大しました。クリエイター自身の声質や話し方のトーンを再現して自動で外国語に吹き替えるだけでなく、翻訳後の音声に合わせて口の動きまで同期させるリップシンク機能を備えています。

この機能は、フォロワー数1000人以上のFacebookクリエイターと、すべてのInstagram公開アカウントを対象に提供され、まずは英語とスペイン語の双方向翻訳から利用可能になります。

本人の声を保ち、口の動きまで再描画する

動画を海外向けに展開する際、機械的な合成音声では不自然さが際立ち、視聴者が離脱する原因になっていました。

Metaのツールは音声クローン技術と映像生成を組み合わせています。クリエイターが喋っている声をAIが解析し、本人の声色やイントネーションを保ったまま別の言語で発話音声を生成します。さらにリップシンク機能を有効にすると、その言語を実際に喋っているかのように口元の映像が修正されます。

使い方はシンプルで、Reelsの投稿前に「Meta AIで声を翻訳」をオンにし、リップシンクを適用するかどうかを選ぶだけです。意図しない誤訳を防ぐため、公開前にプロフェッショナルダッシュボード上で翻訳結果を確認・承認できるプレビュー設定も用意されています。承認しなかった場合でも、元の動画には影響しません。

視聴者側には言語設定に応じて最適な音声が自動再生され、画面にはMeta AIによって翻訳されたことを示すラベルが表示されます。視聴者が翻訳を望まない場合は設定から無効化できます。また、手動でローカライズを行っているクリエイター向けに、1本のFacebook Reelに対して最大20トラックの自前音声をアップロードできる機能も追加されました。

なぜ重要か

個人クリエイターにとって、言語の壁を越えた世界展開のハードルが一気に下がります。これまで多言語化には翻訳者や外部スタジオの手配が必要で、多大なコストがかかっていました。このツールを使えば、母国語でカメラに向かって語りかけるだけで、英語圏やスペイン語圏の巨大な市場へノーコストでリーチできます。

プラットフォーム間の競争という観点でも、Metaの狙いは明確です。TikTokやYouTubeとのユーザー獲得競争が激化するなか、巨大な母数を持つ英語圏と中南米のスペイン語圏をシームレスにつなぐことで、既存コンテンツの再生時間を大幅に引き伸ばすことができます。

ただし、課題もあります。いくら公式ツールとはいえ、本人の声のクローンと口元の改変はディープフェイク技術そのものです。AIが不適切なニュアンスや誤訳を出力した場合、クリエイター自身のブランドが毀損されるリスクがあります。利便性は抜群ですが、今後対応言語が広がるにつれて、文化的文脈の正確さをどこまで担保できるかが問われます。