AI 视频变 3D 世界：新方法抹平画面冲突，单段视频就能重建

现在随便抓一个主流视频模型，生成的片段都足够惊艳，但只要你试着把这些画面抽帧做成 3D 模型，就会发现灾难现场：每一帧里的桌角可能都在偷偷蠕动，前后视角的几何结构完全对不上，直接重建出来的场景全是重影和碎片。

研究人员提出了一项名为 World Reconstruction from Inconsistent Views 的新方法。说白了，它就是来给 AI 视频收拾烂摊子的：不管画面帧与帧之间怎么前后矛盾，它都能通过几何算法把冲突抹平，重建成一个几何一致、能随意走动的 3D 世界。

像揉面团一样拉平形变

传统的 3D 重建算法要求非常苛刻，镜头拍摄的现实物体必须是刚性的、不能凭空变形。但扩散模型生成的视频本质上只是一连串看起来合理的画面，几何变形几乎无法避免。

这项研究设计了一套三阶段的处理流程。第一步，先用几何基础模型预估每一帧的深度和相机位姿，把画面提炼成像素级点云。这时候的点云因为帧间冲突，表面是完全错乱分裂的。

核心的绝招在第二步。团队开发了一套专门的非刚性帧到模型迭代最近点（ICP）算法，配合稀疏特征对应和全局优化，把后续帧的形变一点点拉拽对齐到统一坐标系里。这就好比把扭曲的橡皮泥抚平，最终拼出一份纤薄且纹理清晰的高质量点云骨架。

最后，他们以这套点云为基础，引入逆形变渲染损失来进行非刚性感知的 2D 高斯溅射（2DGS）优化。在公开的在线演示里，团队还把模型转为 3DGS 并用 .sog 格式压缩，用户在网页端用键盘鼠标就能直接漫游。

单视频起步，还不挑底座模型

这套方法最实用的地方在于极低的输入门槛。你甚至不需要输入复杂的环绕视频阵列，仅凭单段视频里抽出的 50 张连续图像，就能还原出细节锐利的 3D 局部空间。

如果想探索完整的 360 度大场景，它还能搭配类似 WorldExplorer 的渐进扩展策略，一口气拼接重建多达 32 段由 SEVA 生成的视频序列，把零散的漫游画面拼成完整无缝的大地图。

更关键的是，它完全与底层模型解耦。论文测试了一整套主流视频生成阵列：从开源文本生成视频的 Wan-2.2，到带相机控制的 ViewCrafter、Gen3C、SEVA 和 Voyager，再到自回归世界模型 Genie 3 和 HY-WorldPlay。不管视频生成器有多任性，它都能照单全收。

为什么重要

对于 3D 创作者和游戏开发者来说，这套工具指明了一条极高性价比的工作流。以往端到端训练原生 3D 大模型门槛极高，资产种类也有限；现在你完全可以把精力放在提示词和现成的视频模型上，先让 AI 生成走位视频，再靠后处理直接导出可漫游的 3D 资产。

在行业竞争层面上，它改变了 3D 内容生成的竞争逻辑。过去大家纠结于到底该死磕原生 3D 架构，还是走视频升维路线。这项工作证明了后者的天花板其实很高：视频大模型已经吸收了全网海量的视觉物理规律，我们不需要强求模型本身几何严丝合缝，只要后端的几何对齐算法足够聪明，就能直接借力成熟的视频生态。

我们认为这项研究走得非常聪明。它没有试图去重新训练一个算力黑洞级的统一模型，而是承认当前视频生成的缺陷，用经典的计算机视觉几何优化去打补丁。虽然目前在线展示的场景边缘仍有一点模糊，但它已经把视频生成器与真正可互动的虚拟世界之间的物理鸿沟填平了大半。