NVIDIA 推出 NeuMatEx：拍幾張照片，就能提取帶複雜反射的 3D 材質

想把現實裡的一輛跑車做成 3D 數字資產，最讓人頭疼的往往不是建模，而是車漆。

普通 3D 材質引數只有粗糙度、金屬度和固有色，根本表現不出清漆層那種晶瑩剔透的多層反光。以前要是直接對著照片做逆向提取，演算法經常會犯糊塗，直接把天花板上的日光燈倒影當成車漆本身的顏色烤進貼圖裡。

NVIDIA 團隊公開了新的逆向渲染方法 NeuMatEx，專門解決這個頑疾。它能把一組多視角照片，直接變成帶複雜物理反光特性的神經材質，而且渲染延遲只要 4 毫秒。

別把高光當成油漆

傳統圖形學用的基於物理渲染（PBR）材質模型，引數太少，遇到車漆、塗層或者積灰表面就抓瞎了。神經材質雖然能用很小的神經網路表達極其複雜的反光，但它的數學空間太自由、非線性太強，如果直接從隨機引數開始逆向最佳化，反照率的峰值訊雜比往往只有可憐的 12 到 14 dB，演算法很快就會卡在死衚衕裡。

NVIDIA 這一套流程的聰明之處，在於找了個懂行的嚮導。

他們把預訓練的 Wan2.1 影片擴散模型改造成了一個大材質重構模型，簡稱 LMRM。只要喂進多視角照片，它就能單步預測出基礎顏色、神經材質隱變數，以及一份至關重要的置信度地圖。

有了這個底子，後續的蒙特卡羅路徑追蹤最佳化就不會走偏。演算法只最佳化三平面表示，而且把把握大的區域牢牢錨定在先驗預測上，只讓拿不準的高光區域去擬合光線。這麼一來，複雜的鏡面反射被完整剝離了出來，環境光影再也不會被誤烤進材質貼圖。

在真實資料集的測試中，無論是茶壺表面的透明釉層，還是標本羽毛上的光澤，換到全新的 HDR 環境光下重新打光時，質感依然非常逼真。

為什麼重要

我們認為，NeuMatEx 最大的意義，在於把神經材質從實驗室裡的純渲染玩具，推向了工業級數字資產製作的實用流程。

對 3D 創作者和數字孿生工程師來說，過去要復原一件帶有複雜鍍層或車漆的真實物體，要麼靠資深美術師在材質軟體裡一層層手調材質節點，要麼忍受傳統掃描演算法把反光焊死在模型上的粗糙效果。現在只要帶著相機多角度拍一圈，就能抽取出可以在路徑追蹤渲染器裡跑的材質資產，效率提升是數量級的。

從技術路線上看，NVIDIA 把影片擴散模型的先驗知識，和物理可微渲染管線結合得相當巧妙。純靠神經網路預測容易丟細節，純靠物理最佳化又極易陷入區域性最優，用不確定性來連線兩者，正好補齊了各自的短板。4 毫秒的渲染延遲也說明，它一開始就是衝著即時渲染和遊戲引擎落地去的。

不過普通開發者現在還不必急著換工具。NeuMatEx 目前還處於學術研究階段，依賴專門的可微路徑追蹤管線和高階顯示卡算力，離打包成一鍵式商業軟體外掛還有一段路要走。但它指明的方向很明確：未來的 3D 重建不僅要掃出幾何外形，更要完整看懂光線與表面相互作用的深層物理規律。