跳到正文
IFAI

开源项目

Pure:普通视频无需 3D 标注,就能直接重建动态三维环境

首次发布 传播指数 48

3D 重建项目 Pure 正式开源。它无需昂贵的人工 3D 标注,仅靠普通视频提取深度与运动信息做后训练,就能将动态连续画面重建为三维场景。模型体积仅 13.2GB,并附带了完整训练脚本,本地即可下载运行。

图:funnyguy525.github.io

Pure 是一个刚开源的动态 3D 重建项目。只要给它一段普通的随手拍视频或者一组连续照片,它就能直接还原出完整的三维环境,不需要你提前准备任何激光雷达点云,也不需要昂贵的 3D 真值标注。

它是怎么做到的

传统的 3D 重建模型非常依赖高质量的三维标注数据,但这类数据采集成本极高。Pure 换了一条非常取巧的路线:直接给现有的前向重建模型做「无标注后训练」。

研究团队拿来现成的 3D 骨干网络(比如 Pi3、DA3 和 VGGT),直接喂给它们未经人工标注的日常普通视频。模型从这些连续画面中自行提取单目深度、动态掩模以及跨帧几何匹配特征。换句话说,它是靠视频本身的连续运动和深度变化反推空间结构,把动态场景里的几何关系重新理顺。

官方演示用一段摩托车骑行视频展示了效果。整整 2000 帧画面被拆分成 128 帧的小切片逐步处理,画面左下角实时生长出完整的俯瞰 3D 点云地图,重现了骑手穿过街道的整个三维轨迹。

上手门槛与当前限制

这个项目对个人开发者非常友好。整套模型权重和文件的体积只有 13.2GB 左右,官方不仅开源了代码和模型权重,还把完整的训练脚本也一起放了出来。在项目主页上点击顶部的 Code 按钮,按照文档说明就能在本地电脑完成部署和运行。

不过目前它也有明显的技术限制。主页明确说明,这种重建采用的是离线时间累积,并不是毫秒级响应的实时因果重建。

另外,画面中剧烈运动的物体依然可能出现鬼影现象,在官方演示中,部分拼接接缝依然能看出来(15 处接缝中有 7 处达到几何阈值)。如果你打算把它用在对精细度要求极高的影视级渲染上,现在的效果可能还不够完美。

为什么重要

过去卡住动态 3D 重建的最大瓶颈,就是大家都在抢昂贵的 3D 训练集。Pure 证明了普通甚至随手拍的网络视频,只要利用好单目深度和运动线索,也能充当高质量的后训练养料。

对于游戏开发者、机器人环境建模以及具身智能研究者来说,这套工具非常值得一试。13.2GB 的体量让它在单机上就能跑通全流程,加上训练脚本的开放,团队可以用自己的无标注视频进一步微调。虽然目前还有鬼影和离线处理的限制,但它为低成本空间资产生成撕开了一个极其实用的口子。

来源 (2)

  1. [1]
    funnyguy525.github.io(在新标签页打开)原文funnyguy525.github.io
  2. [2]
    youtube.com(在新标签页打开)报道youtube.com

每日 AI 内容精选