LivePortrait：静止画を12.8ミリ秒で駆動する高速ポートレートアニメーション

LivePortraitは、1枚の静止画ポートレートを駆動動画に合わせて動かせるオープンソースのアニメーションフレームワークです。人物や動物の静止画と、表情や頭部の動きを記録した動画を入力するだけで、生き生きとした動画を生成できます。

実写写真だけでなく、油絵、彫刻、3Dレンダリングなど多彩な画風に対応しています。さらに動物データでファインチューニングされたモデルも用意されており、人間の表情動画を使って猫や犬、パンダの静止画を高精度に動かすことも可能です。

拡散モデルを見送り、暗黙的キーポイントで12.8ミリ秒を実現

昨今のポートレート動画生成では拡散モデルの採用が主流ですが、計算負荷が高く生成速度に課題がありました。LivePortraitはその流れを追わず、計算効率と制御性に優れた暗黙的キーポイント手法の可能性を拡張しています。

汎化性能と品質を高めるため、約6900万フレームの高品質データを用い、画像と動画を混合した学習戦略を導入しました。さらにコンパクトな暗黙的キーポイントがブレンドシェイプを表現できる点に着目しています。

これに合わせて、極小のMLPで構成されたスティッチングモジュールと2つのリターゲティングモジュールを提案しました。計算負荷をほとんど増やさずに、表情の精密なコントロールを可能にしています。

速度面では、PyTorch環境下のRTX 4090単体で1フレームあたり12.8ミリ秒という驚異的な処理速度を記録しており、実用性に優れた仕上がりです。

動かし方

推論コードとモデルの重みはGitHubのKwaiVGIリポジトリで完全公開されています。また、環境構築なしですぐに試せるデモがHugging Face上で提供されています。

アーキテクチャは2段階で構成されており、第1段階で基本モデルを訓練し、第2段階でスティッチングなどの制御モジュールを最適化しています。ローカルで試す場合、公開された重みを読み込むだけで推論を実行できます。

なぜ重要か

リアルタイムなアバター配信やデジタルヒューマンの対話システムを開発しているエンジニアにとって、今すぐ検証する価値のあるツールです。拡散モデルでは難しかった低遅延動作を、1フレーム12.8ミリ秒という水準でクリアしています。

流行りの拡散モデルに固執せず、キーポイント技術と軽量MLPの組み合わせを突き詰めたアプローチは見事です。計算リソースを抑えつつ、高い追従性と滑らかな表情変化を両立させたい用途において、極めて有力な選択肢になると考えられます。