NVIDIA 推出 NeuMatEx：拍几张照片，就能提取带复杂反射的 3D 材质

想把现实里的一辆跑车做成 3D 数字资产，最让人头疼的往往不是建模，而是车漆。

普通 3D 材质参数只有粗糙度、金属度和固有色，根本表现不出清漆层那种晶莹剔透的多层反光。以前要是直接对着照片做逆向提取，算法经常会犯糊涂，直接把天花板上的日光灯倒影当成车漆本身的颜色烤进贴图里。

NVIDIA 团队公开了新的逆向渲染方法 NeuMatEx，专门解决这个顽疾。它能把一组多视角照片，直接变成带复杂物理反光特性的神经材质，而且渲染延迟只要 4 毫秒。

别把高光当成油漆

传统图形学用的基于物理渲染（PBR）材质模型，参数太少，遇到车漆、涂层或者积灰表面就抓瞎了。神经材质虽然能用很小的神经网络表达极其复杂的反光，但它的数学空间太自由、非线性太强，如果直接从随机参数开始逆向优化，反照率的峰值信噪比往往只有可怜的 12 到 14 dB，算法很快就会卡在死胡同里。

NVIDIA 这一套流程的聪明之处，在于找了个懂行的向导。

他们把预训练的 Wan2.1 视频扩散模型改造成了一个大材质重构模型，简称 LMRM。只要喂进多视角照片，它就能单步预测出基础颜色、神经材质隐变量，以及一份至关重要的置信度地图。

有了这个底子，后续的蒙特卡罗路径追踪优化就不会走偏。算法只优化三平面表示，而且把把握大的区域牢牢锚定在先验预测上，只让拿不准的高光区域去拟合光线。这么一来，复杂的镜面反射被完整剥离了出来，环境光影再也不会被误烤进材质贴图。

在真实数据集的测试中，无论是茶壶表面的透明釉层，还是标本羽毛上的光泽，换到全新的 HDR 环境光下重新打光时，质感依然非常逼真。

为什么重要

我们认为，NeuMatEx 最大的意义，在于把神经材质从实验室里的纯渲染玩具，推向了工业级数字资产制作的实用流程。

对 3D 创作者和数字孪生工程师来说，过去要复原一件带有复杂镀层或车漆的真实物体，要么靠资深美术师在材质软件里一层层手调材质节点，要么忍受传统扫描算法把反光焊死在模型上的粗糙效果。现在只要带着相机多角度拍一圈，就能抽取出可以在路径追踪渲染器里跑的材质资产，效率提升是数量级的。

从技术路线上看，NVIDIA 把视频扩散模型的先验知识，和物理可微渲染管线结合得相当巧妙。纯靠神经网络预测容易丢细节，纯靠物理优化又极易陷入局部最优，用不确定性来连接两者，正好补齐了各自的短板。4 毫秒的渲染延迟也说明，它一开始就是冲着实时渲染和游戏引擎落地去的。

不过普通开发者现在还不必急着换工具。NeuMatEx 目前还处于学术研究阶段，依赖专门的可微路径追踪管线和高端显卡算力，离打包成一键式商业软件插件还有一段路要走。但它指明的方向很明确：未来的 3D 重建不仅要扫出几何外形，更要完整看懂光线与表面相互作用的深层物理规律。