LeapTalk、1ステップ生成で最大200FPSのリアルタイム動画を実現

リアルタイムなアバター対話を作ろうとしたことがある人なら、誰しもジレンマに直面したことがあるはずです。高画質な拡散モデルは何十ステップもの計算が必要で遅延が大きすぎ、一方で高速な自己回帰モデルは時間が経つにつれて徐々に顔の同一性が崩れていってしまいます。

研究チームが発表した「LeapTalk」は、まさにこの長年のトレードオフを解消するために開発されたフレームワークです。任意の人物写真1枚と音声データを入力するだけで、ほぼリアルタイムにリップシンクしたトーキング動画を生成できます。H200 GPU環境では、最大で秒間200フレーム（200 FPS）という圧倒的なスピードを記録しました。

ブラウン橋で顔を固定し、単一ステップで生成する

従来の拡散モデルはランダムなノイズから徐々に画像を復元するため、ステップ数を極端に削ると破綻してしまいます。また自己回帰型は誤差が蓄積し、長時間の配信では元の顔から別人に変形してしまう「アイデンティティ・ドリフト」が頻発していました。

LeapTalkはこの常識を根本から変えました。ノイズからデータを生成するのではなく、ブラウン橋を用いた「データからデータへの移動」として再定義しています。

要するに、すべての動画フレームの生成起点を固定の参照画像に置き、そこから目標のフレームへと遷移させます。土台となる顔立ちが常に元の写真に固定されているため、どれだけ長い動画を生成しても顔が崩れず、前後のフレームも滑らかに接続されます。

これを1ステップの前向計算だけで完了させるため、研究チームは異種蒸留手法を採用しました。複数ステップの教師モデルの挙動を、時間変換関数で調整しながら1ステップの生徒モデルへと転写。さらに音声駆動型のガイダンスを組み合わせることで、極限の短縮を行いながら精度の高い口の動きを維持しています。

速度はケタ違いだが、動きの硬さも残る

実際に触ったクリエイターのレビューでも、LeapTalkの最大の強みはそのレイテンシの低さにあります。以前から使われている「Hello 3」や「Echo Mimic」といったモデルと比較して数千倍も高速で、リアルタイム用途としては現在最も手軽で速い選択肢といえます。

プロジェクトページではすでにコードとローカル環境での実行ガイドが公開されており、手元で動かすことが可能です。

ただし、超高速化の代償として表現力には課題があります。レビュー映像を見る限り、生成されたアバターの表情や首の動きはやや硬く、最先端の高品質アバター生成器と比べるとぎこちなさが否めません。

なぜ重要か

開発者やリアルタイム対話サービスにとって、最大200 FPSという数値は単なる性能誇示ではありません。従来のデジタルヒューマンは返答を生成するまでに数秒の待ち時間が発生していましたが、単一ステップでのストリーミングが可能になれば、音声認識と同期して瞬時にアバターが喋り始める体験が作れます。

技術的なアプローチとしても、ノイズからではなく参照画像を起点にするブラウン橋の活用は非常にスマートです。自己回帰の誤差蓄積を避けつつ、計算コストを最小限に抑えるこの構造は、今後のリアルタイム映像生成に大きな影響を与えるはずです。

現状のLeapTalkは「表現力の豊かさ」よりも「破綻のない安定性と圧倒的な軽さ」に振り切った実用重視のモデルだと私たちは見ています。硬さは今後の改良課題ですが、リアルタイム対話の最大の壁だった遅延を打ち破った意義は非常に大きいです。