Pantheon360 공개: 3D 캐시 기반으로 왜곡 없는 360도 영상 생성

VR 헤드셋을 쓰고 생성형 AI로 만든 영상을 감상해 본 적이 있다면, 고개를 돌리는 순간 벽이 휘어지거나 탁자가 허공으로 떠오르는 어색한 순간을 겪어봤을 것입니다.

기존 비디오 생성 모델은 빨대를 통해 세상을 바라보는 것처럼 시야각이 좁습니다. 장면을 넓게 보여주려면 복잡한 카메라 이동 궤적을 억지로 이어붙여야 했고, 이 과정에서 시점 간 불일치와 시간에 따른 왜곡이 눈덩이처럼 불어났습니다. 5월 25일 연구진이 arXiv에 발표한 Pantheon360은 아예 360도 구형 공간 전체를 직접 생성하는 방식으로 이 한계를 돌파했습니다.

좁은 화면 대신 360도 전방위 공간을 잡다

기존 원근 투영 방식의 비디오 생성기로 완벽한 디지털 트윈을 만드는 것은 매우 까다로운 작업이었습니다. 시야각의 한계 때문에 여러 각도의 영상을 이어붙이다 보면 장면 전체의 기하학적 일관성이 쉽게 깨졌기 때문입니다.

Pantheon360은 발상을 전환해 파노라마 360도 영상에서 해법을 찾았습니다. 360도 시야는 카메라 이동 경로를 단순화해 줄 뿐만 아니라, 장면 전체의 맥락을 한눈에 파악할 수 있는 강력한 기준점을 제공합니다.

연구진은 드문드문 수집된 소량의 360도 입력 데이터만으로도 사용자가 설정한 카메라 경로에 맞춰 고화질 파노라마 비디오를 안정적으로 합성하는 프레임워크를 설계했습니다.

3D 캐시가 뼈대를 잡고, 확산 모델은 질감을 채운다

Pantheon360의 가장 핵심적인 아이디어는 명시적인 '3D 캐시(3D Cache)'입니다.

입력 데이터로부터 장면의 대략적인 3차원 기하 구조를 먼저 복원해 3D 캐시라는 뼈대를 세워둡니다. 사용자가 어떤 각도로 카메라를 움직이든, 이 3D 캐시가 공간 내 물체의 위치와 원근을 단단하게 붙잡아 줍니다.

기하학적 뼈대가 고정되자 확산 모델(Diffusion Model)은 공간 계산에 매달릴 필요가 없어졌습니다. 오직 실사 수준의 텍스처와 빛을 다듬는 렌더링에만 집중할 수 있게 된 것입니다. 실험 결과, Pantheon360은 시각적 품질과 공간 일관성 모두에서 기존 모델 특유의 떨림과 왜곡을 크게 줄인 영상을 만들어냈습니다.

왜 중요한가

우리는 Pantheon360이 3차원 공간 복원 기술과 비디오 생성 모델 사이에서 매우 영리한 균형점을 찾아냈다고 평가합니다.

기존의 NeRF나 3D 가우시안 스플래팅 같은 기술은 공간 구조를 잘 유지하지만 생성형 모델 특유의 화려한 디테일이 부족했고, 반대로 최신 비디오 생성 모델들은 단면은 훌륭하지만 시점을 돌리면 공간이 무너져 내렸습니다. Pantheon360처럼 명시적인 기하 뼈대와 텍스처 확산 모델을 분리해 협업시키는 구조는 두 방식의 단점을 효과적으로 보완합니다.

VR 여행, 몰입형 콘텐츠, 시뮬레이션 환경을 제작하는 크리에이터와 개발자에게 이는 큰 기회입니다. 방대한 카메라 장비 없이 소수의 파노라마 이미지 몇 장만으로도 공간 왜곡 없는 가상 환경을 빠르게 합성할 수 있는 길이 열리기 때문입니다.

물론 현재는 논문 단계로, 빠르게 움직이는 동적 물체를 처리하거나 초대형 야외 공간을 렌더링할 때의 메모리 효율 문제는 여전히 해결해야 할 숙제입니다. 그럼에도 평면 사각 스크린에 갇혀 있던 AI 비디오가 본격적인 공간 컴퓨팅으로 확장되는 중요한 징검다리를 놓았다는 점에서 눈여겨볼 만합니다.