動画の動きを別の被写体に移植する「FastVMT」、3.4倍の高速化を実現

AI で動画を生成するとき、カメラワークや被写体の動きを思い通りに制御するのは至難の業です。迫力あるカーチェイスを作ろうとしても、車があちこちへ漂い、背景のパースが崩れてしまう経験は珍しくありません。

研究チームは動画の運動パターンを別の被写体に移植する新技術「FastVMT」を発表しました。

仕組みは明快です。参考動画として道路を走るスポーツカーを与え、プロンプトで指示を出すだけで、被写体を走るオオカミや航行する船、列車、野球選手へと自在に差し替えることができます。

新しい被写体は、元動画の走行軌跡を忠実になぞって動きます。車自体の挙動だけでなく、パンやズームといったカメラワーク全体がそのまま引き継がれるのが特徴です。

さらに FastVMT は、既存手法と比べて平均 3.43 倍の高速化を達成しました。映像の精細感やフレーム間の滑らかさを落とすことなく、大幅な時間短縮を実現しています。

2つの無駄を削ぎ落とし、3.43倍の高速化

動画生成で主流となっている Diffusion Transformer（DiT）は、これまで不要な計算を大量に抱え込んでいました。

従来の高速化手法はハードウェア寄りの最適化が中心でしたが、FastVMT の研究チームは構造的な2つの冗長性に着目しました。

1つ目は「運動の冗長性」です。動画の連続するフレーム間の動きは本来わずかで滑らかですが、標準的な DiT は画面全体の遠く離れた領域までアテンションを計算してしまいます。FastVMT は局所領域にマスクをかけることで、無駄な長距離計算を省きました。

2つ目は「勾配の冗長性」です。拡散モデルのノイズ除去プロセスにおいて、勾配の変化は非常に緩やかです。毎ステップ律儀に再計算する代わりに、前ステップの勾配を再利用する最適化を導入し、余分な計算をスキップさせました。

この2つの無駄を削ぎ落とすことで、生成品質を損なうことなく 3.43 倍の処理速度を叩き出しています。

なぜ重要か

FastVMT は、動画生成における「動きの制御性」という最大の課題に対して、非常に実用的なアプローチを示したと考えます。

映像制作者やアニメーション関係者にとって、意図通りのカメラワークやキャラクターの動線を得る作業は、これまで膨大なガチャと試行錯誤の連続でした。実写の参考映像を「動きの型」として使い、中身だけをプロンプトで差し替えられるようになれば、絵コンテ通りの映像制作が一気に現実味を帯びてきます。

また、モデル開発の観点からも示唆に富んでいます。むやみにパラメータを増やしたりハードウェアに頼ったりしなくても、映像本来の性質を踏まえて無駄な計算を間引くだけで、これだけの高速化が得られることを証明しました。

ただし、今すぐ自分のワークフローに組み込めるわけではありません。プロジェクトの案内はあるものの、GitHub リポジトリにはまだソースコードが公開されておらず、現状参照できるのは論文のみです。コードの一般公開や、商用動画生成ツールへのアルゴリズムの統合を気長に待つ必要がありそうです。