跳到正文
IFAI

AI科研

Relit-LiVE 视频重打光框架:无需相机追踪,长镜头光影保持物理真实

首次发布 传播指数 36

研究团队提出视频重打光框架 Relit-LiVE,无需相机姿态数据,就能在一个扩散过程中联合预测重打光画面与逐帧环境贴图。它在长镜头中能保持阴影与反射的物理真实,还支持去光照与材质替换等编辑任务。

Relit-LiVE 视频重打光框架:无需相机追踪,长镜头光影保持物理真实
图:zhuxing0.github.io

在影视特效或 3D 渲染里,想把一段已经拍好的视频换个光源,向来是个折磨人的苦差事。以往的做法要么先老老实实做摄影机追踪、还原三维场景,要么直接用 AI 硬生生重绘,结果往往是光影在长镜头里疯狂闪烁,或者残留着原本的光斑。

针对这个痛点,研究团队在入选 SIGGRAPH 2026 的论文中提出了视频重打光框架 Relit-LiVE。它最大的特点是完全不需要预先估算摄影机姿态,就能在长视频中生成物理上真实可信的阴影与反射。

把环境贴图和画面打光绑在一起生成

传统的视频重打光主要有两条路。直接重绘的路线容易破坏空间一致性,还经常洗不干净原视频里的强光照;基于传统渲染的路线虽然严谨,但极度依赖精确的摄影机轨迹追踪和内在属性分解。

Relit-LiVE 的思路很巧妙,它把打光任务与视点对齐的环境贴图预测,塞进了同一个扩散过程中联合生成。

它设计了一个 RGB 与内在属性融合的渲染器。系统会把未经处理的原始参考图直接融入渲染路径,这样不仅能捕捉全局照明线索,还能牢牢保住那些容易在内在分解中丢失的材质细节与表面粗糙度。

在训练上,团队利用潜空间插值合成了多光照监督数据,再配合循环一致的自监督光照学习,让模型在真实视频的剧烈运动中依然能保持光影不漂移。

不只是换个光,还能除光斑和改材质

除了常规的昼夜交替或换个主光源,Relit-LiVE 还能顺手完成多种影视后期任务。有第三方报道提到该方案基于 Wan2.1 开发,支持无姿态的视频与图像重打光。

在单一工作流内,它可以实现视频去光照,把原本视频里焊死的光影和反光彻底剥离,拿到干净的基础纹理,方便后续重新布光。

它还支持场景编辑。因为掌握了逐帧对齐的环境贴图与几何交互,用户可以直接在视频中替换材质表面,或者插入新的 3D 物体,阴影和反光会自动匹配当前环境,省去了复杂的逐帧手动调整。

为什么重要

我们认为,Relit-LiVE 最有价值的突破在于彻底拿掉了「摄影机位姿」这道死门槛。

以往很多神经渲染或高保真重打光工具,只能在实验室环境或轨迹规整的测试集里跑,一旦遇到手持抖动、快速旋转或者特征点稀疏的真实素材,往往直接报错崩溃。Relit-LiVE 证明了通过将变形环境贴图与扩散模型强绑定,模型自身就能隐式理解光照与视点的几何关系。

对于影视后期与游戏特效创作者来说,这意味着长镜头的调光门槛大幅降低。你不再需要耗费数小时去对点、解算相机,甚至能直接用它来做去光照与材质置换,把一段普通的实拍素材变成随时可调的可复用资产。

不过,联合预测环境贴图与高精度画面的计算开销通常不小,在超长视频下的显存占用和渲染耗时可能仍然偏重。但它指出的这条路径相当清晰:把物理先验融入生成模型,远比让纯黑盒扩散网络靠运气去猜光影靠谱得多。

来源 (1)

  1. [1]
    zhuxing0.github.io(在新标签页打开)原文zhuxing0.github.io

每日 AI 内容精选