Meta、ReelsのAI翻訳を拡充：音声再現とリップシンクに対応

海外のショート動画は、どれだけ映像が面白くても言葉がわからないと数秒で離脱されてしまうのが常でした。

Meta は Instagram と Facebook の短尺動画 Reels に向けて、Meta AI を活用した自動翻訳と吹き替え機能を本格展開しています。単に音声を差し替えるだけでなく、クリエイター本人の声質やトーンを模倣して別言語を喋らせ、さらに口元の動きまでその言語の発音に合わせて修正するリップシンク機能まで備えています。

利用料金は無料で、Meta AI が提供されている地域の Instagram の公開アカウントなら誰でも利用できます。Facebook 側には若干の基準があり、フォロワー 1,000 人以上のクリエイターが対象となります。

声をクローンし、唇の動きまで同期する

従来の機械翻訳による吹き替えは、無機質な合成音声が重なるだけで違和感が拭えませんでした。Meta AI はクリエイター本人の声の高さや話し方の抑揚を学習し、まるで本人が別言語で話しているかのような吹き替え音声を生成します。

さらにクリエイターがリップシンクを有効にすると、生成された音声の母音やリズムに合わせて映像内の口元の動きが自動で補正されます。吹き替え映画のような声と口のズレを大幅に減らせる仕組みです。

対応言語は、当初の英語とスペイン語の双方向翻訳からスタートし、巨大な Reels 利用圏であるヒンディー語とポルトガル語を追加。その後もベンガル語、タミル語、テルグ語などのインド系地域言語に加え、日本語、フランス語、ドイツ語、イタリア語、韓国語、アラビア語、ベトナム語へと順次対象を広げています。

視聴者への配慮として、処理された動画には「Translated with Meta AI」というラベルが必ず表示されます。オリジナルの音声をそのまま聞きたい場合は、三点リーダーメニューからいつでも翻訳をオフに切り替えることができます。

なぜ重要か

これまで個人クリエイターが海外進出を狙う場合、現地の声優を雇うか、見落とされやすい字幕に頼るしかありませんでした。Meta が声のクローンからリップシンクまでをプラットフォーム内ですべて自動化し、無料で開放した価値は極めて大きいと言えます。

プラットフォーム間の競争という観点でも、賢い一手です。TikTok や YouTube Shorts とユーザーの可処分時間を奪い合う中で、ある国でバズった既存のコンテンツをそのまま他言語圏へ低コストで流通させ、再生数を底上げできるからです。競合各社も同様のAIローカライズ機能の実装を急がざるを得なくなるでしょう。

一方で、課題も見え隠れします。Meta は AI 表示の義務化で安全性を担保しようとしていますが、他人の声質と唇の動きを高精度に改変できる技術が一般に普及すると、ニュアンスのわずかな誤訳が思わぬ誤解を生む危険性があります。スラングや感情表現をどこまで正確に保てるかが、今後の実用性を左右しそうです。