사진 여러 장으로 탐험 가능한 3D 장면 만드는 'InfiniSplat v2' 오픈소스 공개

InfiniSplat v2는 여러 각도에서 찍은 사진이나 주행 영상을 자유롭게 돌아다닐 수 있는 3D 장면으로 즉시 변환해 주는 오픈소스 피드포워드 3D 재구성 모델입니다.

기존 3D 가우시안 스플래팅처럼 새로운 공간을 만들 때마다 수십 분씩 별도로 학습을 돌릴 필요 없이, 이미지를 입력하면 바로 탐험 가능한 3D 환경을 뽑아냅니다.

무엇을 할 수 있나

스마트폰으로 사방에서 찍은 물체 사진을 입력하면 기하학적 형태와 질감을 유추해 깔끔한 3D 결과물을 만듭니다.

단일 오브젝트뿐만 아니라 넓은 야외 환경도 거뜬히 처리합니다. 실제 시연에서는 1,000프레임이 넘는 차량 주행 영상을 그대로 입력받아 카메라 시점을 자유롭게 전환하며 둘러볼 수 있는 대규모 도로 장면을 완벽하게 재구성했습니다.

특히 시점을 크게 바꿀 때 생기는 잔상과 부유 노이즈를 획기적으로 줄였습니다. 기존 피드포워드 모델들이 겪던 번짐이나 깨짐 현상 없이 원본의 세부 묘사를 그대로 유지합니다.

동작 원리와 성능

넓은 시점 변화에서도 화질을 유지하기 위해 InfiniSplat v2는 구조와 훈련 방식을 대폭 개선했습니다.

핵심은 형상과 외관의 분리입니다. 3D 형상을 예측하는 기하 브랜치를 고정해 뼈대를 먼저 잡고, 시각 효과를 담당하는 속성 예측을 별도로 처리해 서로 간섭하지 않도록 설계했습니다.

학습 단계에서는 실제 카메라 위치 데이터를 사용해 가우시안 점들을 정렬하고, 각도가 큰 목표 시점 감독 방식을 도입했습니다.

여기에 이미지 재구성 감독만으로 학습된 불투명도 값이 기하학적으로 어긋난 오류 포인트들을 스스로 억제한다는 사실을 밝혀냈습니다. 모델이 스스로 계산이 빗나간 노이즈를 투명하게 지워버리는 셈입니다.

총 6개 데이터셋 평가에서 InfiniSplat v2는 피드포워드 출력 기준 최고 수준을 달성했습니다. 카메라 포즈가 주어진 환경에서는 기존 최고 베이스라인 대비 이미지 지각 오차 지표인 LPIPS가 25.8%, DISTS가 32.9% 감소했습니다.

설치 및 실행 방법

프로젝트 코드와 사전 학습된 가중치는 모두 깃허브와 프로젝트 페이지에 무료로 공개되었습니다. 모델 전체 용량은 약 6.6GB에 불과합니다.

일반적인 소비자용 지포스 그래픽카드가 장착된 PC라면 로컬 환경에서 무리 없이 실행할 수 있습니다. 저장소에 로컬 설치와 실행을 위한 상세 가이드가 포함되어 있어 누구나 직접 찍은 사진으로 3D 장면을 생성해 볼 수 있습니다.

왜 중요한가

InfiniSplat v2는 3D 공간 복원이 개별 최적화의 긴 기다림에서 벗어나 즉각형 추론 시대로 넘어가는 흐름을 보여줍니다. 게임 개발, 메타버스 에셋 제작, 자율주행 시뮬레이터 구축 등에서 공간 프로토타입 제작 속도를 비약적으로 끌어올릴 수 있습니다.

물론 오랜 시간 한 장면에만 매달려 미세 조정한 결과물보다는 극단적인 가림 영역에서 디테일 한계가 있을 수 있지만, 6.6GB라는 가벼운 크기로 가정용 GPU에서 바로 돌아간다는 점만으로도 직접 테스트해 볼 가치가 충분합니다.