2D 영상 점 하나 클릭하면 3D 위치·회전 추적하는 'ProxyPose' 공개

일반적인 단안 2D 영상에서 물체의 3차원 위치와 회전을 정확히 추적하는 일은 컴퓨터 비전 분야의 오랜 난제였습니다. 특히 투명한 유리잔, 빛을 강하게 반사하는 표면, 혹은 다른 물체에 심하게 가려지는 환경에서는 기존 알고리즘들이 맥을 못 추기 일쑤였습니다.

토론토 대학교 계산 이미징 그룹 연구진은 단 하나의 픽셀 지정만으로 물체의 완전한 6자유도(6-DoF) 3차원 자세 궤적을 복원해내는 오픈소스 시스템 'ProxyPose'를 공개했습니다. 이 연구는 NeurIPS 2026 논문으로 채택되었습니다.

까다로운 대상을 '컬러 큐브'로 바꿔치기하는 묘수

ProxyPose의 핵심은 추적하기 까다로운 실제 객체를 직접 쫓지 않고, 영상 대 영상(Video-to-Video) 변환을 거쳐 문제를 단순화하는 데 있습니다.

사용자가 영상 속 물체의 한 점을 클릭하면, 시스템은 비디오 생성 모델을 사용해 해당 부위와 동일하게 움직이는 가상의 '컬러 큐브' 영상(Proxy Video)을 합성해냅니다. 복잡한 물체 표면 대신 기하학적 형태와 색상 경계가 뚜렷한 정육면체를 화면에 띄우는 셈입니다.

그다음 단계는 간단합니다. 생성된 큐브의 윤곽을 기반으로 고전적인 PnP(Perspective-n-Point) 기하학 알고리즘을 적용해 3차원 위치와 회전 정보를 정밀하게 계산해냅니다.

이러한 대리 추적 방식 덕분에 투명체, 거울 반사, 극단적인 가려짐이 있는 상황에서도 매우 견고하게 작동합니다. HO3D, YCBInEOAT 같은 표준 벤치마크에서 단 한 번의 클릭만으로 최고 수준의 성능을 입증했습니다. 텍스처 부족으로 기존 3D 복원 도구인 COLMAP이 실패하는 환경에서의 카메라 자세 추정은 물론, 사람 얼굴 같은 비강체 표면이나 이벤트 카메라, 단일 광자 SPAD 센서 영상까지 별도 추가 학습 없이 소화합니다.

Wan 2.1 기반 구조와 생성 모델의 한계

공개된 내용에 따르면 ProxyPose는 비디오 생성 모델인 Wan 2.1을 기반으로 동작합니다. 기본 모델 크기는 약 30GB에 달하지만, 큐브를 생성하는 핵심 LoRA 파일은 600MB에 불과하며, 일반 소비자용 GPU에서도 구동할 수 있도록 양자화 버전이 함께 제공됩니다.

하지만 대규모 비디오 모델을 뼈대로 삼은 만큼 생성 AI 자체의 한계도 고스란히 안고 있습니다.

구슬 레이싱처럼 물체가 지나치게 빠르게 움직이는 장면에서는 비디오 모델의 VAE가 모션 블러를 일으켜 큐브 윤곽 검출이 망가지기도 합니다. 또한 복잡하게 움직이는 풍선처럼 질감이 없는 반사 표면에서는 위치 드리프트 현상이 관찰되며, 액체 표면처럼 강체 운동으로 정의할 수 없는 대상에는 적용할 수 없습니다.

왜 중요한가

우리는 ProxyPose가 비디오 생성 AI를 단순한 영상 제작용이 아니라, 3차원 공간 인식을 위한 '기하학적 번역기'로 활용했다는 점에 주목해야 한다고 봅니다.

거대 모델이 영상 데이터를 통해 내재화한 물리 법칙과 움직임에 대한 이해도를 명확한 큐브 형태로 꺼내어 고전 기하학 계산에 연결한 방식은 대단히 영리합니다. 로봇의 까다로운 물체 파지, AR 시각 효과 합성, 공간 컴퓨팅 분야에서 비싼 특수 장비 없이 일반 2D 카메라 영상만으로 고난도 3D 추적을 구현할 길을 열었습니다.

비디오 모델 추론 시간 때문에 지금 당장 산업용 실시간 제어에 투입하기는 어렵겠지만, 600MB 크기의 LoRA로 연구자와 개발자가 로컬에서 직접 돌려볼 수 있다는 점은 매력적입니다. 생성 모델의 물리적 직관을 측정 도구로 전환하는 이러한 시도는 향후 3D 비전 추적 연구 전반에 중요한 기준점이 될 것으로 보입니다.