Pure: 라벨 없는 일반 영상으로 완전한 3D 환경을 복원하는 오픈소스 모델

Pure는 일반 동영상이나 연속된 사진 몇 장만으로 완전한 3D 환경을 복원해내는 오픈소스 3D 재구성 프로젝트다. 라이다 스캔이나 값비싼 3D 정답 라벨이 없어도 공간을 입체로 만들어낸다.

어떤 방식으로 작동하나

기존의 3D 복원 모델들은 구축 비용이 막대한 3D 라벨 데이터셋에 크게 의존했다. 반면 Pure는 Pi3, DA3, VGGT 같은 기존 3D 복원 백본 모델을 가져와, 라벨이 전혀 없는 일반 동영상으로 사후 학습(Unlabeled post-training)을 진행하는 영리한 방식을 택했다.

연구진은 평범한 영상 속에서 단안 깊이(monocular depth), 동적 마스크, 프레임 간 매칭 정보를 직접 추출해 기하학적 단서로 활용했다. 동영상에 담긴 움직임과 깊이 변화만으로 동적 장면의 깊이 순서와 공간 구조를 모델이 스스로 다듬도록 만든 셈이다.

공개된 시연에서는 오토바이 주행 영상 2,000프레임을 128프레임 단위로 나누어 복원하는 모습을 보여준다. 화면 한구석에 전체 경로의 3D 포인트 클라우드 지도가 프레임에 맞춰 확장되며 입체 공간을 그대로 매핑해낸다.

용량, 설치 및 한계점

개인 연구자나 개발자에게 진입 장벽도 낮다. 전체 모델과 파일 크기가 약 13.2GB에 불과하며, 코드와 사전 학습 가중치는 물론 학습 스크립트까지 전부 공개됐다. 프로젝트 페이지 상단의 Code 버튼을 눌러 안내된 문서를 따라가면 로컬 컴퓨터에서 바로 내려받아 실행해볼 수 있다.

다만 분명한 제약도 있다. 이 방식은 오프라인 시간 축적을 기반으로 작동하므로 실시간 카메라 피드를 즉각 3D로 바꾸는 실시간 스트리밍 복원은 아직 지원하지 않는다.

또한 빠르게 움직이는 피사체 주변에 잔상(고스팅)이 남거나 이음새가 생길 수 있다. 공식 데모에서도 15개 이음새 중 7개에서 여전히 경계가 관측되었다. 정교한 그래픽 품질을 요구하는 프로덕션 작업에 바로 투입하기에는 조금 이르다.

왜 중요한가

동적 3D 재구성 분야의 가장 큰 병목은 언제나 3D 학습 데이터의 절대적인 부족이었다. Pure는 널려 있는 일반 무라벨 동영상만으로도 공간 기하학 성능을 대폭 개선할 수 있음을 증명했다.

로보틱스, 인디 게임 개발, 공간 컴퓨팅 분야에 관심 있는 엔지니어라면 당장 내려받아 돌려볼 만하다. 13.2GB라는 가벼운 볼륨에 학습 스크립트까지 주어지는 만큼, 자체 수집한 동영상으로 도메인 특화 3D 복원을 시도하기에 가장 매력적인 선택지다.