跳到正文
IFAI

开源项目

InfiniSplat v2 开源:多张照片一键重建 3D 场景,消费级显卡可跑

首次发布 传播指数 48

开源 3D 重建模型 InfiniSplat v2 发布,能将多角度照片或上千帧驾驶视频直接转成可自由探索的 3D 场景。模型将几何结构与视觉表现预测解耦,并能自动抑制不一致的噪点。整个模型仅约 6.6GB 且已开放代码和权重,普通消费级 GPU 即可在本地部署运行。

InfiniSplat v2 开源:多张照片一键重建 3D 场景,消费级显卡可跑
图:arxiv.org

InfiniSplat v2 是一个刚开源的前向 3D 高斯重建模型,能把你从不同角度拍的几张照片,或者一段长视频,直接变成可以自由移动镜头、探索细节的 3D 场景。

它主打的是前向推理重建。这意味着你不需要像传统高斯溅射那样为每个新场景单独训练几个小时,喂入素材就能直接吐出 3D 场景。

它能做到什么

你可以拿手机绕着一个物体拍几张照片喂给它,模型会推断出物体的三维几何形状和外观,还原出一个干净的 3D 资产。

除了单个物体,它还能处理规模大得多的复杂环境。测试案例里,它直接吃进了超过 1000 帧的连续驾驶视频,成功重建出整段街景,并且允许你在场景里自由变换视角穿行。

更关键的是画面干净度。很多同类前向模型在大视角移动时很容易出现毛刺或悬浮噪点,而 InfiniSplat v2 在保留边缘细节的同时,画面几乎没有多余的杂质。

它是怎么做到的

以往的前向 3D 高斯方法最容易卡在大视角变化上:一旦视线转动角度过大,画面就会发虚或者变形。InfiniSplat v2 做了几个很关键的架构改动。

首先是解耦。它把几何结构预测和外观属性预测拆成两条线,用一个冻结的几何分支专门管三维形状,外观分支专门负责算视觉效果,彼此不打架。

在训练阶段,团队引入了大角度目标视角监督,并用真实相机姿态来对齐预测出的三维高斯点。

另外研究人员发现,只靠图像重建监督学出来的高斯不透明度,能自动识别并抑制那些几何上不一致的错误点。说白了,模型自己学会了把算歪的噪点变透明,最终合成的画面自然非常纯净。

论文显示,在六个主流数据集的评测中,InfiniSplat v2 在已知位姿和未知位姿两种设定下都拿到了前向输出的最佳水平。在已知位姿测试里,衡量画面感知误差的平均 LPIPS 和 DISTS 指标相比现有最强基准分别下降了 25.8% 和 32.9%。

怎么跑起来

该项目的代码和模型权重已经全部公开。整个模型权重打包下来大约 6.6GB,体积控制得相当克制。

只要你有一张显存够用的消费级英伟达显卡,就能在本地把它搭起来跑。项目主页和代码仓库里已经附带了完整的环境配置指南和运行脚本,照着步骤拉取依赖就能上手试跑自己的照片集。

为什么重要

我们认为 InfiniSplat v2 代表了神经渲染工具从「单场景定制优化」走向「即插即用模型」的重要一步。对于游戏美术、虚拟制片或空间计算开发者来说,过去搭一个可探索场景要先跑漫长的 SfM 配准再跑优化,现在直接前向推理就能看到结果,原型验证速度会快好几个数量级。

不过也要看到,前向模型在面对遮挡严重、光照极端的罕见视角时,精度上限依然很难完全赶上精细打磨数小时的单场景微调。但这套模型证明了解耦几何与外观是跑通大规模前向重建的有效路线,值得每一位关注 3D 生成和具身智能场景重建的开发者在本地拉下来测测看。

来源 (1)

  1. [1]

每日 AI 内容精选