Lift4D 亮相：一段普通 2D 视频直接重建完整 4D 场景

拿手机随手拍一段小动物奔跑的视频，你只能看到对着镜头的这一侧。要是能暂停画面，直接把视角拉到背后，甚至绕着它 360 度转一圈看它怎么发力，那会是种什么体验？

6 月 22 日，研究人员公布了名为 Lift4D 的全新算法框架。它的核心突破，就是仅凭这样一段普通的单视角 2D 视频，就能重建出包含完整外观与运动变形的 4D 场景。

所谓 4D，其实就是动态的 3D，把时间维度和物体的形变过程一起算进去了。

怎么用一个镜头脑补出整只犀牛

如果让你看一段野生犀牛走动的视频，哪怕犀牛只露出一侧，你的大脑也能立刻脑补出它背对镜头的另一侧长什么样、四肢在怎么交替。

但在计算机视觉里，单机位视频重建一直是个死穴。过去的做法要么依赖大量的 4D 数据集做端到端训练，要么只能套用特定物体的固定骨架模板，遇到猫狗、奔跑的野生动物或者大幅度形变，模型立刻就会崩溃。

更麻烦的是，现有的单图 3D 模型如果一帧一帧单独去猜，生成的每一帧 3D 结果都会互相打架、疯狂闪烁。

Lift4D 想了个挺聪明的办法。它引入了一种因果潜在条件机制，把前后帧的隐空间信息串联起来传递，让单视角 3D 模型在连续帧里输出高度一致的几何预测，先把地基打稳。

动态 3D 高斯与扩散模型的配合

地基搭好后，系统会构建一个由稀疏控制节点驱动的可形变 3D 高斯模型，用来专门捕捉物体的非刚性运动。

光有运动还不够，真实视频里到处都是遮挡。比如犀牛的前腿挡住了后腿，或者躯干转过去看不到了。

Lift4D 设计了一套遮挡感知渲染监督机制。它利用深度线索精准定位被遮挡的位置，再通过颜色匹配把不可见的区域和可见区域调和在一起，生成一张干净的参考图。

至于镜头自始至终都没拍到的视觉盲区，它直接搬来了图像扩散先验模型，把死角里的外观合理地脑补出来。

这就像一位经验老到的雕刻师，一边对照着视频正面雕刻细节，一边靠通用审美把背面补齐。

为什么重要

我们认为，Lift4D 最吸引人的地方，在于它撕掉了 4D 重建对多机位阵列和昂贵动作捕捉设备的依赖。

对于游戏开发者、特效制作人员或者独立创作者来说，这意味着以后不需要搭建几十个摄像头的阵列，也不用大费周章给物体贴标记点，一段现成的网图视频就能转化为可编辑的动态 3D 资产。

从技术路线上看，直接预测 4D 数据的路子一直受困于真实世界 4D 训练数据的极度匮乏。Lift4D 巧妙地避开了这个硬骨头，转而用成熟的单图 3D 和图像生成先验来做测试时优化，思路非常务实。

不过也得泼一盆冷水，测试时优化意味着它不可能像生成模型那样秒出结果。每一段视频都需要经历多轮渲染监督与迭代计算，算力开销并不低。

但无论如何，能把一段随手拍的单视角视频变成可自由漫游的 4D 场景，单目三维重建离平民化又近了一大步。