NVIDIAがNeuMatExを発表：写真から複雑な反射を持つ3D神経マテリアルを抽出

現実世界の物体をフォトリアルな3Dアセットに変換する際、最も厄介なのは形状のモデリングではなく「質感の再現」です。

従来のゲームやCGで使われるPBR（物理ベースレンダリング）は、反射率や粗さといった少数のパラメータに頼っています。そのため、何層にも塗り重ねられた車の塗装やクリアコート、埃をかぶった表面のような複雑な反射を表現できません。写真を元に自動抽出しようとすると、照明の反射光をそのままテクスチャの地色として焼き込んでしまう問題が常につきまとっていました。

NVIDIAの研究チームは新たな逆レンダリング手法「NeuMatEx」を発表しました。複数視点の写真から複雑な光の散乱を保持した3D神経マテリアルを抽出し、わずか4ミリ秒のレイテンシでリアルタイムレンダリングを可能にします。

ハイライトをテクスチャに誤認させない仕組み

神経マテリアルは複雑な反射をコンパクトなニューラルネットで表現できますが、画像から直接復元しようとするとパラメータの自由度が高すぎて最適化が局所解に陥り、従来手法ではPSNRが12〜14dB程度にとどまるという壁がありました。

NVIDIAのアプローチが巧みなのは、最初から手探りで最適化させず、優秀なガイドを用意した点です。

研究チームはWan2.1ベースの動画拡散トランスフォーマーを活用し、多視点画像からアルベド、反射の潜在変数、そして予測の「不確実性」を一括予測する事前モデル（LMRM）を構築しました。

その後、モンテカルロ経路追跡による可変レンダリングを用いて詳細を詰めていきます。この際、先ほどの不確実性マップを使い、自信のある領域は事前予測にしっかり固定し、ハイライトなどの判断が難しい領域だけを光線計算で最適化します。これにより、環境光がテクスチャに焼き付くのを防ぎ、純粋なマテリアル成分だけを分離することに成功しました。

なぜ重要か

NeuMatExは、これまで実用化が難しかった神経マテリアルを、現実のデジタルツインや3D制作パイプラインに接続する重要な架け橋になると私たちは考えています。

3Dアーティストや製造業のエンジニアにとって、車の塗装やコーティングされた陶器のような複雑な質感をデジタルで再現する作業は、熟練のシェーダー調整を要する重労働でした。写真から自動でマテリアルを抽出し、別のHDR環境光の下でも破綻なく再ライティングできる仕組みは、アセット制作のコストを劇的に下げる可能性を秘めています。

生成AIの事前知識と、厳密な物理ベースの経路追跡を組み合わせた設計も見事です。AIの推論任せにするとディテールがボケ、物理計算だけに頼ると反射光の罠にはまる。その間を不確実性という重み付けで繋いだアプローチは非常に合理的です。また、レンダリング遅延が4ミリ秒に抑えられている点からも、リアルタイムCGへの組み込みを強く意識していることが伺えます。

もっとも、現時点では高度なGPU環境と研究用コードを前提としており、一般的なクリエイターがBlenderなどのプラグインとして手軽に触れる段階ではありません。それでも、写真を撮るだけであらゆる複雑な表面材質を完璧にデジタル化できる未来へ、確実に一歩前進したと言えます。