순서 없는 사진 몇 장으로 3D 공간 복원하는 'AnyRecon' 공개

방이나 특정 공간을 3D로 복원해 본 사람이라면 누구나 그 번거로움을 압니다. 피사체 주위를 조심스럽게 돌며 빈틈없이 연속 사진을 찍어야 하고, 순서가 꼬이거나 각도가 조금만 어긋나도 기존 알고리즘은 가차 없이 오류를 뿜어냅니다.

연구진은 이러한 불편을 크게 덜어줄 새로운 3D 복원 프레임워크 'AnyRecon'을 공개했습니다. 이 기술의 핵심은 간단합니다. 대충 걸어 다니며 찍은 순서 없고 정렬되지 않은 사진 몇 장만으로도 매끄럽고 일관된 3D 장면과 포인트 클라우드를 복원해 냅니다.

공간 전체를 기억하는 '멘탈 맵' 탑재

기존의 비생성형 복원 기법은 입력 사진이 희소하거나 불규칙할 때 한계를 드러냈습니다. 이를 해결하기 위해 최근에는 비디오 확산 모델을 활용해 누락된 시점을 인공지능이 상상해 채워 넣는 방식이 등장했습니다. 하지만 ViewCrafter나 Uni3C 같은 기존 모델들은 대체로 한 번에 1~2장의 프레임만 참조할 수 있어, 시점이 크게 바뀔 때마다 공간 기하가 흔들리는 고질적인 문제를 안고 있었습니다.

AnyRecon은 전체 장면에 대한 전역 메모리를 지속적으로 유지하는 방식으로 판을 바꿨습니다.

입력된 시점들을 캐시에 저장하고 시간적 압축을 제거함으로써, 시점이 크게 건너뛰더라도 프레임 단위의 일치 관계를 잃지 않습니다. 여기에 명시적 3D 기하 메모리와 검색 메커니즘을 결합해, 인공지능이 제멋대로 화면을 왜곡하지 않도록 실제 공간 구조에 단단히 묶어두었습니다.

연산 효율도 챙겼습니다. 4단계 확산 증류 기술과 컨텍스트 윈도우 희소 어텐션을 도입해 2차원 연산 복잡도를 대폭 낮췄습니다.

사진 2장으로도 자연스럽게 연결되는 3D 공간

공개된 실측 데모를 보면 복원 성능의 안정성이 두드러집니다.

임의의 각도에서 촬영한 사진 5장만 넣어도 완전한 3D 장면을 재구성해 냅니다. 또 다른 테스트에서는 같은 장소의 완전히 다른 구역을 찍은 사진 4장만으로 사각지대를 부드럽게 이어 붙였습니다.

가장 극단적인 조건인 2장의 시점 사진만 제공된 상황에서도, 누락된 시각 정보를 메꿔 현실감 넘치는 3D 모델을 뽑아냈습니다. 기존 확산 기반 기법들과 비교했을 때 디테일이 훨씬 또렷하고 공간의 왜곡이나 울렁거림이 눈에 띄게 줄었습니다.

왜 중요한가

우리는 AnyRecon이 고품질 3D 복원을 가로막던 '정밀 촬영'이라는 진입 장벽을 무너뜨렸다는 점에 주목합니다.

창작자나 인디 개발자 입장에서 3D 에셋 확보 문턱이 단숨에 낮아집니다. 전문 스캔 장비나 정교한 궤적 촬영 없이도, 스마트폰 갤러리에 흩어져 있던 일상 사진 서너 장만으로 쓸 만한 3D 공간을 뚝딱 만들어낼 수 있는 길이 열리기 때문입니다.

공간 컴퓨팅과 그래픽스 산업 관점에서도 의미가 큽니다. 생성형 확산 모델의 뛰어난 상상력과 3D 기하학의 엄밀한 정합성을 어떻게 결합해야 하는지 명쾌한 해법을 보여주었습니다. 전역 메모리로 뼈대를 잡아두면 확산 모델이 환각 없이 믿을 만한 3D 구조를 그려낼 수 있음을 입증한 셈입니다.

다만 아직은 학술 논문 단계인 만큼, 완전히 반사되는 유리 재질이나 사각지대가 심한 산업 현장 데이터에서 얼마나 물리적 정확도를 유지할지는 검증이 더 필요합니다. 그럼에도 흩어진 사진 파편들을 모아 일관된 입체 공간을 엮어내는 능력만큼은 확실히 한 단계 앞서 있습니다.