跳到正文
IFAI

AI科研

NVIDIA 发布 Neuralangelo:用一段视频还原高精度 3D 场景

首次发布 传播指数 35

NVIDIA 推出 3D 重建模型 Neuralangelo,能将普通多角度 2D 视频直接转化为高精度 3D 资产。它借鉴了 Instant NeRF 的底层技术,能精细还原大理石纹理与建筑细节,大幅降低游戏开发与数字孪生的建模门槛,代码已在 GitHub 开源。

图:blogs.nvidia.com

Neuralangelo 是 NVIDIA 开源的 3D 重建模型,能把一段普通多角度 2D 视频直接变成高保真的 3D 模型资产。

只要你拿着手机绕着物体或建筑拍一圈视频,它就能还原出带有精细材质纹理的虚拟三维结构,不管是路边的小雕塑,还是整座园区建筑都能搞定。

它能还原多细的细节

传统的 3D 重建 AI 经常遇到几个硬伤:面对大面积纯色、重复出现的纹理图案,或者反差极大的光影时,很容易出现模型塌陷或表面模糊。

Neuralangelo 的强项正是处理这些复杂材质。根据官方演示,它能精准重建光滑的大理石表面、房屋的屋顶瓦片以及反光的玻璃窗。

在演示案例中,它不仅还原了细节极为复杂的米开朗基罗《大卫》雕像,还建出了普通的平板卡车模型,甚至把 NVIDIA 湾区园区的一整片公园连同建筑内外完整复原了出来。

导出的 3D 模型可以直接导入主流设计软件,供游戏制作、艺术创作、机器人训练或者工业数字孪生继续编辑使用。

它是怎么做到的

Neuralangelo 借用了 NVIDIA Instant NeRF 背后的核心机制,也就是即时神经图形基元技术。

整个生成过程很像雕塑家刻石头。首先,算法从你拍摄的视频中抽取不同角度的画面,以此推算每一帧的相机位置。

接着,它会先根据这些机位生成一个粗糙的三维空间轮廓,就像雕刻家先凿出人物的大致体块。

最后,模型利用多角度信息反复优化渲染,把石料纹理、衣物褶皱等细碎细节逐层锐化出来,最终输出高分辨率的三维资产。

代码去哪找

该研究成果在 2023 年的计算机视觉顶会 CVPR 上正式发表,相关代码目前已经直接在 GitHub 开源,感兴趣的开发者可以直接去拉取代码并查看配置指南。

为什么重要

我们认为,Neuralangelo 最聪明的地方,在于彻底省掉了昂贵的专业激光雷达扫描设备。对独立游戏团队、3D 美术师和机器人研究者来说,只要掏出智能手机拍一段视频,就能低成本拿到工业级精度的真实世界资产。

相比以前的 NeRF 方案只能停留在「换个角度看画面」的视角合成,Neuralangelo 真正生成了表面结构清晰、可以直接网格化编辑的实用模型。这大幅压缩了数字孪生与虚拟场景搭建的时间成本,让现实世界向虚拟资产转化的门槛又降了一大截。

来源 (1)

  1. [1]
    blogs.nvidia.com(在新标签页打开)原文blogs.nvidia.com

每日 AI 内容精选