Sync Labs、口元同期AI「Lipsync-2-Pro」公開　高解像度で髭やそばかすも保持

動画のリップシンクAIはこれまで、唇を動かした瞬間に顎ひげやそばかすがぼやけて不自然になるという課題を抱えていました。

Sync Labsは、あらゆる動画内の発話内容を編集できる新モデル「lipsync-2-pro」を発表しました。

濃いひげやそばかすのディテールを維持

公式発表によると、lipsync-2-proは高解像度動画の編集に対応しています。

最大の改善点は顔の細部表現の維持です。そばかすのような細かな肌の特徴から濃い顎ひげまで、登場人物の質感を崩すことなく口の動きだけを再生成できるとしています。

なぜ重要か

動画の多言語吹き替えや広告のセリフ差し替えにおいて、リップシンクは不可欠な技術になりつつありますが、従来はアップの映像に耐えられないケースが目立ちました。

高解像度かつ細部の質感を損なわずに編集できるのであれば、映像制作やローカライズの現場における実用性は大きく上がります。ただし、激しい頭の動きや横顔のアングルでどこまで破綻せずに追従できるかは、今後の実務検証が待たれます。