엔비디아, NeuMatEx 발표: 사진 몇 장으로 복잡한 반사율의 3D 뉴럴 재질 추출

현실 세계의 물체를 고품질 3D 에셋으로 복원할 때 가장 까다로운 난제는 형태 모델링이 아니라 바로 '표면 재질'입니다.

기존 실시간 그래픽에서 널리 쓰이는 PBR(물리 기반 렌더링) 방식은 거칠기, 금속성, 기본 색상 같은 단순한 매개변수에 의존합니다. 이 때문에 자동차 도색이나 투명 코팅, 먼지 쌓인 표면처럼 빛이 여러 층으로 굴절되고 반사되는 복잡한 재질을 온전히 담아내지 못합니다. 다각도 사진을 보고 역으로 재질을 추출하려고 해도, 방 안의 전등 빛이나 반사광을 물체 고유의 색상 텍스처로 착각해 그대로 구워버리는 치명적인 결함이 있었습니다.

엔비디아 연구진은 이러한 한계를 극복한 새로운 역렌더링 프레임워크 'NeuMatEx'를 공개했습니다. 여러 각도에서 찍은 사진 몇 장만으로 정교한 반사 특성을 지닌 3D 뉴럴 재질을 추출해 내며, 렌더링 지연 시간은 4ms에 불과합니다.

조명 반사를 페인트 색상으로 착각하지 않는 법

뉴럴 재질은 복잡한 빛의 산란과 반사를 작은 신경망으로 압축해 표현할 수 있는 기술입니다. 하지만 수학적 잠재 공간이 지나치게 자유롭고 비선형적이어서, 아무것도 없는 상태에서 무작정 최적화를 시작하면 알고리즘이 엉뚱한 값에 갇혀 알베도 PSNR이 12~14dB 수준에 그치는 문제가 있었습니다.

엔비디아는 이 문제를 해결하기 위해 똑똑한 길잡이를 먼저 세웠습니다.

사전 학습된 Wan2.1 비디오 확산 모델을 개조해 다각도 사진에서 기본 색상, 뉴럴 스펙큘러 잠재 변수, 그리고 예측 신뢰도를 나타내는 불확실성 지도를 한 번에 추정하는 LMRM 모델을 만들었습니다.

이 초기 예측값을 바탕으로 몬테카를로 경로 추적 기반의 미분 가능 렌더러를 돌려 세부 디테일을 정밀하게 다듬습니다. 핵심은 불확실성 지도입니다. 확신도가 높은 영역은 사전 예측값에 단단히 고정해 주변 조명이 텍스처에 구워지는 현상을 막고, 반사가 복잡해 확신이 낮은 영역만 경로 추적 최적화를 통해 정교하게 빛을 맞춰갑니다. 덕분에 주전자 표면의 광택이나 복잡한 표면 코팅도 새로운 조명 환경에서 왜곡 없이 자연스럽게 렌더링됩니다.

왜 중요한가

우리는 NeuMatEx가 연구실 데모 수준에 머물던 뉴럴 재질을 산업용 디지털 트윈과 차세대 3D 파이프라인으로 끌어올리는 결정적인 전환점이 될 것이라고 봅니다.

3D 아티스트와 게임 개발자, 제조 분야 엔지니어에게 자동차 도장이나 유약 처리된 도자기 같은 복잡한 재질은 늘 수작업으로 셰이더 노드를 깎아내야 하는 고역이었습니다. 사진 촬영만으로 재라이팅이 완벽하게 가능한 뉴럴 재질을 자동으로 뽑아내고, 이를 4ms라는 실시간급 속도로 렌더링할 수 있다는 것은 에셋 제작 비용을 획기적으로 줄여줄 수 있음을 뜻합니다.

생성형 확산 모델의 사전 지식과 엄밀한 물리 경로 추적을 결합한 설계도 매우 영리합니다. 신경망에만 의존하면 디테일이 뭉개지고, 순수 물리 최적화에만 매달리면 반사광 왜곡에 빠지는데, 불확실성을 징검다리로 삼아 양쪽의 장점만 취했습니다.

물론 지금 당장 블렌더 플러그인처럼 원클릭으로 쓸 수 있는 상용 도구는 아닙니다. 고성능 GPU와 미분 가능 경로 추적 환경이 뒷받침되어야 하는 연구 단계 기술입니다. 하지만 3D 스캔이 단순히 겉모양을 흉내 내는 수준을 넘어, 물체 표면과 빛이 상호작용하는 물리 법칙 자체를 온전히 디지털로 복제하는 시대로 접어들었음을 분명히 보여줍니다.