엔비디아, 2D 영상으로 정밀 3D 모델 만드는 뉴럴란젤로 공개

뉴럴란젤로(Neuralangelo)는 스마트폰 등으로 촬영한 일반 2D 영상을 초정밀 3D 모델로 변환해 주는 엔비디아의 오픈소스 AI 모델입니다.

다양한 각도에서 대상을 찍은 영상만 입력하면, 건물이든 작은 조각상이든 사실적인 질감을 갖춘 가상 3D 에셋으로 복원해 줍니다.

무엇을 복원할 수 있나

기존의 3D 복원 AI 모델들은 지붕 기와처럼 반복되는 패턴이나 단색 벽면, 급격한 명암 차이가 있는 장면을 정밀하게 잡아내지 못하는 한계가 있었습니다.

뉴럴란젤로는 이러한 복합 재질 처리에 매우 뛰어납니다. 대리석의 매끄러운 표면, 반사되는 유리창, 지붕 타일과 같은 까다로운 질감을 세밀하게 재현해 냅니다.

공개된 데모에서는 미켈란젤로의 다비드 조각상과 평판 트럭뿐 아니라, 엔비디아 캠퍼스 내 공원과 대형 건물 내외부 전체를 정밀한 3D 모델로 복원하는 모습을 보여주었습니다.

완성된 3D 모델은 표준 디자인 툴로 불러와 게임 개발, 로보틱스 시뮬레이션, 산업용 디지털 트윈 제작 등에 바로 활용할 수 있습니다.

작동 원리와 오픈소스 공개

뉴럴란젤로는 엔비디아 Instant NeRF의 핵심 기술인 즉각적 신경 그래픽스 프리미티브를 기반으로 작동합니다.

영상에서 여러 각도의 프레임을 선택해 카메라 위치를 추정한 뒤, 조각가가 돌을 깎듯 먼저 대략적인 3D 뼈대를 잡습니다. 이후 렌더링 과정을 반복 최적화하여 직물의 질감이나 미세한 굴곡을 정밀하게 다듬어냅니다.

이 기술은 CVPR 2023 학술대회에서 발표되었으며, 소스코드는 깃허브에 오픈소스로 공개되어 있습니다.

왜 중요한가

고가의 라이다나 전문 스캔 장비 없이 스마트폰 카메라만으로 산업용 수준의 3D 자산을 구축할 수 있다는 점이 핵심입니다.

단순히 시점만 돌려보는 NeRF 수준을 넘어 실제 수정과 활용이 가능한 메쉬 구조를 고품질로 뽑아내기 때문에, 인디 게임 개발자나 3D 아티스트의 배경 제작 비용을 획기적으로 낮출 것으로 보입니다.