일반 영상으로 왜곡 없는 3D 구현…신규 프레임워크 ‘지오위버’ 공개

스마트폰으로 짧게 찍은 몇 초짜리 영상으로 그럴듯한 3D 모델을 만드는 건 요즘 AI에게 그리 어려운 일이 아닙니다. 하지만 카메라를 든 채 방 안을 몇 분 동안 걸어 다니며 찍은 영상이라면 이야기가 완전히 달라집니다.

AI는 시간이 지날수록 공간의 축척을 잃어버리기 쉽습니다. 처음에 계산했던 책상 크기가 거실을 한 바퀴 돌고 오면 제멋대로 줄어들어 있고, 카메라 궤적이 어긋나면서 최종 3D 장면은 심하게 뒤틀리고 맙니다.

연구진은 일반 긴 영상에서 발생하는 왜곡과 드리프트 문제를 해결한 3D 복원 프레임워크 ‘지오위버(GeoWeaver)’를 공개했습니다. 여러 긴 시퀀스 벤치마크 테스트에서 다른 경쟁 모델들을 제치고 가장 낮은 평균 오차를 기록했습니다.

영상을 조각내고 다시 정교하게 엮다

몇 분에 달하는 긴 영상을 통째로 인공신경망에 넣어 한 번에 처리하려 하면 그래픽 메모리가 버텨내지 못합니다. 영상을 토막 내어 따로따로 계산하는 방식도 있었지만, 토막마다 축척이 달라져 이어 붙였을 때 경계가 어긋나는 문제가 늘 뒤따랐습니다.

지오위버는 직조공이라는 이름처럼 조각들을 정교하게 엮어내는 방식을 택했습니다.

첫 단계에서는 기하학적 사전 모델을 통해 긴 영상을 작은 클립으로 쪼갠 뒤 각 클립의 깊이 정보와 신뢰도, 카메라 파라미터를 개별적으로 예측합니다. 이를 통해 국소적인 3D 디테일을 먼저 탄탄하게 잡아둡니다.

핵심은 그다음 단계인 테스트 타임 적응 과정입니다. 조각들을 무작정 붙이는 대신, 순차적 초기화와 전역 정렬을 거쳐 카메라 위치와 깊이 보정값을 거친 단계부터 미세한 단계까지 순차적으로 가다듬습니다.

인접한 프레임뿐 아니라 겹치는 시점과 장거리 시각 매칭 제약을 함께 활용해 2D 재투영과 3D 일관성을 동시에 최적화합니다. 카메라가 방을 크게 돌아 원래 자리로 돌아와도 공간의 크기가 제멋대로 변하지 않는 이유입니다.

실험 결과 지오위버는 훨씬 깨끗한 점군 데이터와 정확한 카메라 궤적을 보여줬으며, 이 최적화 파이프라인을 다른 깊이 모델에 적용해도 궤적 추정 성능이 크게 개선되는 확장성을 입증했습니다.

왜 중요한가

긴 영상의 축척 왜곡을 잡아내는 기술은 일상적인 3D 공간 캡처를 대중화하기 위한 핵심 열쇠입니다.

만약 이 기술이 실용화된다면 게임 개발자나 인디 영상 제작자, 부동산 업계 관계자가 값비싼 라이다 장비 없이 평범한 스마트폰 하나만 들고 공간을 걸어 다녀도 왜곡 없는 고품질 3D 에셋을 손쉽게 얻을 수 있게 됩니다.

산업적 측면에서도 거대 모델의 무차별적인 컴퓨팅 소모를 우회하는 영리한 해법을 제시했습니다. 초장거리 영상을 하나의 모델에 무리하게 집어넣는 대신, 작업을 잘게 쪼갠 뒤 추론 과정에서 엄밀한 기하학적 제약으로 엮어내 메모리와 정확도를 모두 챙겼기 때문입니다.

다만 당장 장밋빛 환상을 품기엔 이릅니다. 현재는 기술 논문만 공개되었을 뿐 오픈소스 코드나 가중치는 아직 풀리지 않았습니다. 테스트 단계에서 추가적인 정렬 최적화를 거쳐야 하므로 즉각적인 결과물을 내기까지 연산 시간이 다소 걸린다는 점도 풀어야 할 과제입니다. 지금은 구현 코드의 공개 시점을 차분히 기다려볼 만한 흥미로운 기술적 이정표입니다.