OVOW 开源：一段普通视频，直接拆解成可物理模拟的 4D 场景

OVOW（One Video, One World）是一个无需额外训练的 4D 场景重建系统，能把一段普通的单目视频或者一张单张图片，直接拆解成带动画、而且能直接丢进物理引擎做模拟的 3D 资产。

以往从单目视频生成 3D 场景，拿到的往往是一整坨连在一起的网格，或者只是好看但无法互动的神经辐射场。OVOW 的思路不同，它会把视频里的每一个物体独立剥离出来，重建成互不粘连的水密网格，并为每个物体估计位姿轨迹与形变，最后打包成一个完整的带动画 GLB 文件和 URDF 文件，让物理模拟器可以直接读取。

它是怎么把视频拆解成物理世界的

OVOW 并没有训练一个端到端的大模型，而是把目前顶尖的一批基础模型串联成了一个四阶段流水线。

首先是场景理解与分割。系统调用 Qwen3-VL 识别场景里的各个物体实例，并把它们分类为静态、刚体或可形变物体；随后用 SAM 3 提取逐帧像素掩码。

接下来是针对不同物体的网格重建。对于静态和刚体物体，它用 FLUX.2 补全被遮挡的部分，再通过 Hi3DGen 进行单图到 3D 的前向重建；对于可形变物体，则调用 Motion324 和混元生成保持拓扑一致的网格序列，并由 VGGT 辅助恢复真实尺度。

最后是位姿优化与物理装配。系统通过 RoMa v2 与 FoundationPose 进行渲染匹配优化，解耦全局 6-DoF 轨迹与局部顶点形变。同时，系统会拟合地面并计算物体接触支撑，补上 HDR 环境光照，确保物体在重力下能正常碰撞、静止或倾倒。

硬件门槛与开源协议

跑通这套系统的代价不低。硬件上，它要求 Linux 系统、CUDA 12.1+ 环境，并强烈建议至少配备 40GB 显存的 NVIDIA GPU，外加大约 120GB 磁盘空间。

在耗时方面，端到端处理一段 108 帧的短视频大约需要 19 到 22 分钟。其中重型模型（如 SAM 3、FoundationPose、RoMa v2）支持常驻服务模式，模型只用在第一批加载一次，适合做大批量处理。

目前该项目已在 GitHub 开源。需要注意的是，尽管 OVOW 自身代码采用 MIT 许可证，但它打包集成了 NVIDIA FoundationPose、Meta SAM 3、CC-BY-NC 协议的 SpaTrackerV2 和 Motion324 等组件。因此整个仓库属于源码可用的非商业研究发布，不能直接用于商用。

为什么重要

如果你是做具身智能、机器人仿真或者游戏物理资产管线的开发者，OVOW 非常值得一试。它证明了不需要耗费巨资去训练端到端 4D 大模型，光靠精细编排现有的视觉大模型，就能把现实世界视频快速转化成仿真训练场所需的结构化数字资产。

不过，它目前最大的限制在于极高的显存开销、复杂的跨模型环境依赖，以及非商业协议的束缚。对大多数个人开发者来说，它更像是一个展示模块化 4D 重建上限的技术参考，短期内直接落到工业生产管线还需要更轻量化的整合。