HiP3R, 긴 영상에서도 오차 없이 이어지는 3D 대형 장면 재구성 기술 공개

긴 영상을 기반으로 대형 3D 공간을 복원할 때 가장 까다로운 부분은 카메라 이동 궤적의 뒤틀림입니다. 기존 모델들은 영상을 짧은 구간 단위로 쪼개어 처리하다 보니, 겹치는 프레임에서 서로 다른 카메라 위치와 각도를 예측해 오차가 눈덩이처럼 불어나는 문제가 있었습니다.

공개된 HiP3R은 계층형 포즈 그래프를 도입해 긴 영상에서도 흔들림 없는 일관된 궤적을 뽑아내는 재구성 프레임워크입니다.

구간 단위 전체 정렬 후, 프레임별 미세 조정

HiP3R은 정렬 과정을 두 단계의 계층 구조로 나눴습니다.

기존 재구성 백엔드 모델은 그대로 고정한 채 사용합니다. 먼저 중첩되는 비디오 구간 사이의 크기, 회전, 위치를 전체적으로 맞추고, 짧은 구간에서 긴 구간 순으로 루프 제약을 연결해 구간 단위 정렬을 마칩니다.

이후 고정된 구간 변환 값을 바탕으로 내부 모션 제약을 적용해, 겹치는 프레임의 카메라 위치를 단 하나의 일관된 궤적으로 정밀하게 통합합니다. 이 과정에서 구간 합성 시 발생하는 누적 드리프트가 사라집니다.

왜 중요한가

우리는 HiP3R이 장거리 전용 초거대 모델을 처음부터 다시 학습하는 대신, 기존 알고리즘에 바로 끼워 쓸 수 있는 플러그인 구조를 택한 점을 높게 평가합니다.

디지털 트윈이나 공간 매핑을 연구하는 개발자 입장에서, 막대한 학습 비용 없이 기존 파이프라인의 작업 범위를 긴 시퀀스 영상으로 확장할 수 있다는 것은 상당한 실용적 이점입니다.

다만 이 기술은 어디까지나 카메라 포즈를 보정하는 프레임워크입니다. 기본 재구성 모델이 만들어내는 기초 3D 형상 자체가 왜곡되어 있다면, 카메라 위치를 정확히 맞추는 것만으로 장면 전체의 디테일을 완벽하게 살리기는 어렵습니다.