動画の法線や照明を同時生成する「UniVid-X」登場　背景差し替えや再ライティングも可能に

従来の動画生成AIが出力する映像は、すべての情報が1枚のカラー画像に圧縮された平坦なピクセルにすぎません。そのため、生成後に光の当たり方を変えたり、特定の被写体だけをきれいに切り抜いたりすることは困難でした。

こうした課題に対し、研究チームは5月1日、動画の物理的な内部属性を同時に扱えるマルチモーダルフレームワーク「UniVid-X」を発表しました。

ピクセルを「質感・光・透明度」に分解する

UniVid-X は、動画拡散モデルの事前学習能力を活用し、通常の RGB 映像だけでなく、物体の地色であるアルベド、光の照射情報、表面の向きを示す法線マップを同時に解析・生成できます。

さらに、映像内の前景と背景を高精度に検出し、透明度を保持したアルファチャンネルを分離して生成することも可能です。

これによって動画編集の自由度が大きく広がります。例えば室内を撮影した1本の動画から法線や光の情報を抽出し、「夕暮れの光」と指示するだけで、画面の構造を維持したまま全体のライティングを自然に変更できます。

また、高精度なアルファマットを活用してキャラクターだけを別の人物に差し替えたり、背景だけを別の場所に置き換えたりすることも容易です。法線推定や動画の切り抜き精度において、既存の手法を上回る正確性を記録しています。

1,000本未満の動画学習で実現した仕組み

従来は、切り抜きや法線推定などのタスクごとに独立した専用モデルを用意するのが一般的でした。しかしそのアプローチでは入出力の関係が固定され、複数の属性同士の相関関係を活かせません。

UniVid-X は3つの独自設計でこの問題を解決しています。訓練時に既知の条件と生成対象をランダムに割り振る「確率的条件マスキング（SCM）」により、任意の属性から別の属性への全方向的な条件付き生成を可能にしました。

また、生成対象となる属性ごとに独立した LoRA を切り替える「分離ゲート付き LoRA（DGL）」を採用し、ベースモデルが持つ強力な動画生成能力を損なわないようにしています。

さらに「クロスモーダル・セルフアテンション（CMSA）」によって各属性間で情報を共有し、光や形状の整合性をフレーム全体で維持します。この枠組みを用いて、光や法線を扱う「UniVid-Intrinsic」と、透明レイヤーを扱う「UniVid-Alpha」の2つが構築されました。注目すべきは、わずか1,000本未満の動画データで訓練したにもかかわらず、複雑な実写シーンにも堅牢に適応できる点です。

なぜ重要か

映像クリエイターやVFX制作現場にとって、生成AIの動画が既存の編集ワークフローと切り離されていた問題への現実的な回答になります。法線マップやアルファチャンネルを直接書き出せるため、3Dソフトや合成ツールと組み合わせた精密なポストプロダクションが可能になります。

業界全体にとっても、タスクごとに個別モデルを乱立させる必要がなく、単一の動画拡散モデルの先験的な知識を底层のグラフィックス処理へ転用できることを示しました。

私たちは、1,000本未満という極めて少ない学習データで実世界シーンへの汎化に成功した設計の巧みさを高く評価しています。現段階では研究発表の枠組みですが、今後リアルタイム性や長尺動画への対応が進めば、AI動画制作の現場標準を大きく塗り替える可能性があります。