사진 몇 장으로 대형 3D 실내를 재구성하는 'GenRecon' 공개

현실의 방을 가상 공간으로 옮기려면 지금까지는 수천만 원짜리 고가 스캐너를 동원하거나, 수백 장의 사진을 꼼꼼하게 찍어야 했습니다.

연구진은 소수의 일반 RGB 사진만으로 대규모 실내 3D 공간을 재구성하는 신호탄인 'GenRecon'을 발표했습니다. 기존 최신 재구성 기법들과 비교해 결과물 품질을 16% 끌어올렸습니다.

겹치는 청크 분할로 대형 실내를 이어 붙이다

지금까지 생성형 AI 기반 3D 모델의 고질적인 한계는 단일 객체 생성에 갇혀 있었다는 점입니다. 의자나 작은 조각상은 기가 막히게 만들지만, 방 전체로 시야를 넓히면 계산량이 감당되지 않았습니다.

GenRecon은 전체 공간을 서로 겹치는 여러 개의 국소 청크 단위로 쪼개는 영리한 방식을 택했습니다.

각 청크를 조건부 3D 생성으로 복원하면서 겹치는 영역을 통해 전체적인 일관성을 묶어냅니다. 덕분에 단일 물체 수준에 머물던 생성 능력을 방 전체 크기로 매끄럽게 확장할 수 있었습니다.

Trellis.2 사전 지식과 투영 메커니즘의 결합

이러한 확장을 가능하게 만든 기반은 최첨단 3D 형상 모델인 Trellis.2의 사전 지식과 DINOv3 기반 특징 추출입니다.

연구진은 사진 순서와 상관없이 카메라 위치 정보를 가진 다각도 이미지 특징을 3D 표현으로 정렬시키는 투영 기반 조건화 메커니즘을 설계했습니다.

그 결과 단순한 뷰 렌더링용 점군 데이터가 아니라, 게임 엔진이나 3D 소프트웨어에서 바로 수정할 수 있는 편집 가능한 PBR(물리 기반 렌더링) 메시가 완성됩니다. 가상 투어나 전시관 복제, VR 공간 구축에 즉시 쓸 수 있는 형태입니다.

왜 중요한가

인디 게임 개발자, 건축 디자이너, VR 크리에이터에게는 공간 에셋 제작 비용이 극적으로 낮아지는 계기입니다. 값비싼 스캔 장비 없이도 일상적인 스마트폰 사진 몇 장으로 곧바로 편집 가능한 배경 메디를 뽑아낼 수 있습니다.

산업 전반으로 보면 GenRecon은 단일 물체 생성과 대형 장면 재구성 사이의 간극을 효과적으로 메웠습니다. 기존 NeRF나 3D 가우시안 스플래팅이 보기 좋은 시각 결과물에 비해 실제 메시 편집이 까다로웠던 반면, 표준 PBR 메시를 직접 출력한다는 점은 기존 제작 파이프라인과 완벽히 맞아떨어집니다.

우리는 거대한 장면 전용 모델을 무리하게 처음부터 학습시키는 대신, 물체 단위의 우수한 생성 모델을 중첩 분할 기법으로 확장한 접근이 매우 현명하다고 봅니다. 다만 사진 촬영 시 카메라 위치 추정 정확도에 여전히 기대고 있어, 지나치게 사진이 부족하거나 특징이 없는 벽면 등에서 접합부가 매끄러울지는 추가적인 검증이 필요합니다.