KAISTがLip Forcing発表：2ステップ拡散で31FPSのリアルタイム口形同期

動画内の人物の唇を新しい音声に合わせて違和感なく動かすのは、言うほど簡単ではありません。

従来の軽量モデルでは速度こそ出せても口元が不自然になりがちで、拡散モデルを使えば自然な仕上がりになるものの、数秒の映像を出すのに膨大なレンダリング時間がかかり、リアルタイムの対話など到底不可能でした。

韓国のKAIST AIとAIPARKの研究チームは、動画間（V2V）リップシンク向けとしては初となる自己回帰拡散モデル「Lip Forcing」を発表しました。

拡散プロセスを2ステップに短縮、速度は最大40倍へ

Lip Forcingの最大の特徴は、通常数十ステップを要する拡散処理をわずか2ステップへ圧縮した点にあります。

研究チームはまず、品質と同期精度に長けた14Bの双方向教師モデルを構築。そこから知識蒸留を行い、因果推論が可能な1.3B版と14B版の生徒モデルを生み出しました。

単一のH100 GPU上でテストしたところ、1.3Bモデルの生成速度は31.58 FPSに達し、従来の同規模モデルと比べて17.6倍の高速化を達成しました。実用的なリアルタイム動画の基準とされる25 FPSの壁を難なく突破し、最初の1フレームを出すまでの遅延も0.32秒に抑えています。

高精度な14Bモデルでも15.11 FPSを記録し、OmniAvatarに対して約40倍、LatentSyncに対しても4.7倍のスループットを実現しています。

忠実度と口形同期の板挟みを解く

拡散モデルによるリップシンクでは、CFG（Classifier-Free Guidance）の強度設定が常に悩みの種でした。強度を上げると音声との同期精度は高まるものの元の顔立ちが崩れ、下げると顔は保てるものの口が滑らかに合わなくなります。

Lip Forcingはこのジレンマを巧みに回避しました。1ステップ目ではあえてガイダンスをかけずに顔本来の特徴を維持し、2ステップ目で集中的に口形を同期させる二段階のアプローチを採用しています。

さらに、過去7フレーム分のキャッシュのみを参照するスライディングウィンドウ注意機構を取り入れることで、動画全体を先読みすることなく、テキスト生成のように1フレームずつ即座にストリーミング出力できるようにしました。

なぜ重要か

私たちは、Lip ForcingがリアルタイムAIアバター技術における決定的なブレークスルーになると考えています。

これまで多言語の同時通訳吹き替えや対話型デジタルヒューマン、ゲームのNPC会話などは、画質を犠牲にするか、数秒の遅延を受け入れるかの二者択一を迫られていました。1.3Bという比較的小さなサイズで31 FPSを出せるモデルが登場したことで、自然な対話インターフェースの実用化が一気に現実味を帯びてきます。

現時点の計測環境はH100というエンタープライズ向けGPUが前提ですが、2ステップで高品質な出力を完結させる蒸留手法そのものが非常に洗練されています。この軽量化の筋道は、今後のコンシューマー向け展開やエッジデバイスへの応用にとっても大きな足がかりになるはずです。