跳到正文
IFAI

开源项目

UniForge 3D 开源:几张多角度照片,就能脑补出完整 3D 模型

首次发布 传播指数 48

3D 重建与生成框架 UniForge 3D 开源。它只需物体不同角度的几张稀疏照片,就能生成包含背面等盲区的完整 3D 资产;系统一边精准重建可见细节,一边靠生成模型脑补缺失结构。目前相关代码和模型已开放本地运行。

UniForge 3D 开源:几张多角度照片,就能脑补出完整 3D 模型
图:arxiv.org

UniForge 3D 是一个刚开源的 3D 建模工具,能把你随手拍的几张多角度照片,直接拼成一个完整的 3D 模型。

平时做 3D 扫描,最头疼的就是盲区。拍照总有拍不到的死角、背面或者被遮挡的角落,而传统重建算法遇到没拍到的地方通常就直接留空或破面。UniForge 3D 解决的就是这个问题,哪怕输入的是几张没有标注相机姿态的稀疏照片,它也能把没拍到的部分自动补全。

一边精准扫描,一边合理脑补

它的核心思路是把「3D 重建」和「AI 生成」两条路线合在了一起。重建负责把照片里能看清的几何形状抓得死死的,生成模型则负责根据物体的整体规律,把背面和盲区合理地猜出来。

很多类似工具做不好,是因为扫描和生成各自用的坐标系合不上,而且容易把不相关的视角混在一起,导致表面细节被抹平。UniForge 3D 专门搭了一个共享的锚定引导空间,让物体保持站立状态,并以参考视角为基准统一坐标。

在这个空间里,负责重建和负责生成的两个模块会互相传递特征。系统先生成一个完整的稀疏体素骨架,再反过来对应到各个输入画面,给物体的每个局部挑选最清楚、最有参考价值的拍摄角度来提取细节,避免细节被无关画面冲淡。

能生成什么,去哪下载

从官方给出的测试来看,它很适合处理各种角色手办、雕像以及结构复杂的日用品。在 Toys4K 和 GSO 等标准 3D 数据集上,它的外观质感和几何精度都达到了目前同类方法的顶尖水平,生成的模型不仅背面完整,正面的细节也更清晰。

目前研究团队已经把 UniForge 3D 的代码和模型权重全部开源。项目主页提供了完整的配置与安装教程,支持开发者在本地电脑上部署运行,可以直接拿着自己的照片测试生成效果。

为什么重要

如果你是独立游戏开发者、3D 打印爱好者,或者正在给虚拟场景搭资产,这个项目非常值得拉到本地试一试。它把过去需要几十张严密照片加专业光照的摄影测量门槛,直接降到了随手拍几张图的水平。

在业界还在纠结「纯生成模型容易天马行空、纯扫描工具死角修不完」的时候,UniForge 3D 这种把局部重建与全局生成绑在一起的做法显得非常聪明。它没有丢弃真实照片里的像素精度,又解决了死角补全的刚需,很可能会成为后续轻量级 3D 资产生成工具的标准架构。

来源 (1)

  1. [1]

每日 AI 内容精选