Snap、1本の動画からキャラと動きを再現する「Set-and-Sequence」発表

AI に特定のキャラクターの見た目を覚えさせるのは簡単ですが、そのキャラクター特有のクセのある動きまで再現させるのは、これまでの動画生成モデルにとって難題でした。

Snap Research は、見た目と動きの両方で定義される対象を「ダイナミック・コンセプト」と呼び、これをテキストから動画を生成するモデルで個別に学習・制御する新しい手法を発表しました。

見た目と動きを別々に学習させる工夫

従来の画像ファインチューニングは静的な見た目だけを捉えれば十分でしたが、動画では動きの情報が不可欠です。

Snap Research が提案した「Set and Sequence」フレームワークは、DiT ベースの動画モデルに時空間の重み空間を導入し、ひとつの動的な概念を2つの要素に分解します。

1つ目は「Set」で、順序をバラバラにした静止画フレームの集まりです。ここでは外見の特徴だけを抽出します。2つ目は「Sequence」で、時間的な連続性を持つ動画そのものを使い、動きのダイナミクスを捉えます。

学習手順も理にかなっています。まず順序のないフレーム群に対して LoRA を学習させ、外見をしっかりと定着させます。

次に、その外見 LoRA の基底を固定した上で、一連の動画シーケンスを使って追加の係数を学習させます。外見の情報を壊すことなく、特有の動きだけをきれいに重ね合わせる仕組みです。

なぜ重要か

動画生成のパーソナライズにおいて、見た目を維持しようとすると動きがぎこちなくなり、動きを真似させようとすると輪郭や顔が崩れるというジレンマが長く続いていました。

Snap Research のアプローチが巧みなのは、外見と動きを同じ土俵で一度に覚えさせようとせず、無秩序な画像群と連続した映像に分解した点です。外見の重みを固定してから動きを上乗せする構造は、非常に明快で再現性の高いアプローチに見えます。

クリエイターにとっての価値は明確です。将来的には、手元にある1本の短い動画から、特定の人物やペットの愛嬌ある仕草、特有のアクションだけを抽出し、別のシーンや被写体へと自在に組み込めるようになる可能性があります。

もっとも、現段階では arXiv に公開された研究論文と技術デモの段階であり、一般ユーザーが今すぐ触れるツールとして提供されているわけではありません。実際の複雑な背景や激しいカメラワークの中でどこまで綺麗に分離できるかは、今後の実装を見守る必要があります。