NVIDIA 釋出 Neuralangelo:用一段影片還原高精度 3D 場景
NVIDIA 推出 3D 重建模型 Neuralangelo,能將普通多角度 2D 影片直接轉化為高精度 3D 資產。它借鑑了 Instant NeRF 的底層技術,能精細還原大理石紋理與建築細節,大幅降低遊戲開發與數字孿生的建模門檻,程式碼已在 GitHub 開源。
Neuralangelo 是 NVIDIA 開源的 3D 重建模型,能把一段普通多角度 2D 影片直接變成高保真的 3D 模型資產。
只要你拿著手機繞著物體或建築拍一圈影片,它就能還原出帶有精細材質紋理的虛擬三維結構,不管是路邊的小雕塑,還是整座園區建築都能搞定。
它能還原多細的細節
傳統的 3D 重建 AI 經常遇到幾個硬傷:面對大面積純色、重複出現的紋理圖案,或者反差極大的光影時,很容易出現模型塌陷或表面模糊。
Neuralangelo 的強項正是處理這些複雜材質。根據官方演示,它能精準重建光滑的大理石表面、房屋的屋頂瓦片以及反光的玻璃窗。
在演示案例中,它不僅還原了細節極為複雜的米開朗基羅《大衛》雕像,還建出了普通的平板卡車模型,甚至把 NVIDIA 灣區園區的一整片公園連同建築內外完整復原了出來。
匯出的 3D 模型可以直接匯入主流設計軟體,供遊戲製作、藝術創作、機器人訓練或者工業數字孿生繼續編輯使用。
它是怎麼做到的
Neuralangelo 借用了 NVIDIA Instant NeRF 背後的核心機制,也就是即時神經圖形基元技術。
整個生成過程很像雕塑家刻石頭。首先,演算法從你拍攝的影片中抽取不同角度的畫面,以此推算每一幀的相機位置。
接著,它會先根據這些機位生成一個粗糙的三維空間輪廓,就像雕刻家先鑿出人物的大致體塊。
最後,模型利用多角度資訊反覆最佳化渲染,把石料紋理、衣物褶皺等細碎細節逐層銳化出來,最終輸出高解析度的三維資產。
程式碼去哪找
該研究成果在 2023 年的計算機視覺頂會 CVPR 上正式發表,相關程式碼目前已經直接在 GitHub 開源,感興趣的開發者可以直接去拉取程式碼並檢視配置指南。
為什麼重要
我們認為,Neuralangelo 最聰明的地方,在於徹底省掉了昂貴的專業雷射雷達掃描裝置。對獨立遊戲團隊、3D 美術師和機器人研究者來說,只要掏出智慧手機拍一段影片,就能低成本拿到工業級精度的真實世界資產。
相比以前的 NeRF 方案只能停留在「換個角度看畫面」的視角合成,Neuralangelo 真正生成了表面結構清晰、可以直接網格化編輯的實用模型。這大幅壓縮了數字孿生與虛擬場景搭建的時間成本,讓現實世界向虛擬資產轉化的門檻又降了一大截。
來源 (1)
- blogs.nvidia.com(在新分頁開啟)原文blogs.nvidia.com