動画再照明フレームワーク「Relit-LiVE」：カメラ追跡不要で物理的に正確な光影を維持

撮影済みの動画の照明を変える作業は、VFXの世界では常に骨の折れる工程でした。従来はカメラの動きを三次元トラッキングしてシーンを再構築するか、AIでフレームごと力任せに再描画するしかなく、長尺になると影が激しくちらついたり元の光が残留したりするのが常でした。

こうした課題に対し、SIGGRAPH 2026に採択された論文で発表されたのが、動画再照明フレームワーク「Relit-LiVE」です。一部の紹介ではWan2.1と組み合わせたポーズフリーの動画・静止画再照明として取り上げられており、カメラの事前姿勢データが一切不要な点が大きな特徴です。

環境マップと再照明フレームを同時に生成する

従来の動画再照明には大きく二つの道がありました。直接再描画する手法は空間の整合性が崩れやすく、元の光の影響を消しきれません。一方、レンダリングベースの手法は物理的に正確な反面、高精度なカメラ軌跡の追跡と材質分解が必須でした。

Relit-LiVEのアプローチは非常にスマートです。再照明されたフレームと、視点ごとに歪みを合わせたフレーム別環境マップを、単一の拡散プロセスの中で同時に生成します。

技術の中核にあるのがRGB・内在特徴融合レンダラーです。生の参照画像をレンダリング経路に直接統合することで、従来の分解手法で見落とされがちだった微細な質感や表面の粗さをしっかりと維持します。さらに潜在空間の補間と自己教師あり学習を組み合わせることで、激しい動きの動画でも光と影のブレを抑え込んでいます。

影消しから3Dオブジェクトの合成まで

Relit-LiVEの強みは、単に光源の向きを変えるだけに留まりません。シーン全体の光と幾何構造を把握しているため、一連のワークフローの中で多彩な編集が行えます。

たとえば「動画ディライティング」では、映像に焼き付いた強い影やハイライトをきれいに除去し、均一でクリーンな素材に整えることができます。

また、被写体の材質を別の質感に置き換えたり、映像内に新しい3Dオブジェクトを挿入したりすることも可能です。環境マップがフレーム単位で整合しているため、挿入した物体にも自然な影と反射が自動で付与されます。

なぜ重要か

私たちが注目すべきだと考えるのは、「カメラトラッキングの呪縛」を完全に解いた点です。

これまでの高度な再照明ツールは、手ブレの激しい実写素材や特徴点の少ない映像ではトラッキングが外れ、実用にならないケースが多々ありました。Relit-LiVEは、歪み環境マップの予測を拡散モデルと強固に結びつけることで、明示的なカメラ姿勢の入力なしでも破綻しない光影を作れることを示しました。

映像クリエイターやCG制作者にとっては、動画の再照明や焼き付き影の除去が、専門的なマッチムーブ作業なしで扱える身近なツールになります。長尺クリップでも物理的に整合した反射を維持できる点は、ポストプロダクションの工数を劇的に減らす可能性を秘めています。

動画フレームと環境マップを同時に生成するため計算コストの重さは課題になりそうですが、生成AIに物理的なレンダリングの仕組みを融合させるアプローチとして、極めて堅実で賢い進化だと言えます。