静止画から狙った時間・位置に特撮を生成する「VFX Creator」登場

静止画にAIで特殊効果を加えようとすると、いつ、どこで爆発が起きるのかを正確に指示できず、何度もプロンプトを打ち直すことになりがちです。

こうした課題に対し、空間と時間の両方を細かく制御できる映像生成フレームワーク「VFX Creator」が発表されました。ベースにはVideo Diffusion Transformerを採用しており、少量の学習データでも高精度なエフェクト付与が可能です。

マスクとタイムスタンプで狙い撃ち

従来の動画生成AIは、エフェクトの発生タイミングや適用範囲を制御するのが極めて困難でした。VFX Creatorはこの問題を、空間制御と時間制御の2つのLoRAアダプターに分解して解決しています。

空間面では、プラグアンドプレイ型のマスク制御モジュールを導入しました。対象物のセグメンテーションマスクを差し込むことで、背景に影響を与えることなく、指定した被写体だけに溶解や爆発といった効果を適用できます。

時間面では、開始フレームと終了フレームのタイムスタンプをトークン化し、テキスト空間と同時に拡散プロセスへ埋め込む方式を採用しています。例えば「1秒目に浮遊を開始し、3秒目に静止する」といった指定がフレーム単位で可能です。論文内ではCogVideoXやLTX-Video、Pikaといった既存ツールとの比較が行われ、リズム制御の正確さが示されています。

研究チームはあわせて、15種類の効果を網羅したデータセット「Open-VFX」も構築しました。押しつぶし、破裂、ケーキ化、さらには特定キャラクターへの変身など、人物から商品まで幅広い被写体に対応しています。

なぜ重要か

巨大なベースモデルをゼロから再学習するのではなく、軽量なLoRAで時空間制御を後付けした点は非常に賢明だと考えます。現在の動画生成AIは画質こそ向上したものの、制作現場で必須となるタイムライン編集の思想が欠けていました。フレーム単位でエフェクトの出入りを指定できる仕組みは、映像制作のプリビズやSNS向けコンテンツ制作の無駄打ちを劇的に減らすはずです。

一方で課題もあります。現状の精度はOpen-VFXが用意した15種類のエフェクトに強く依存しています。映画やゲームの現場で求められるような複雑で不規則なパーティクル表現や未知のエフェクトに対し、どこまで汎化できるかはまだ未知数です。それでも、動画DiTに対する決定論的な時間制御アプローチとして、今後のツール開発に強い影響を与える一歩と言えます。