AI 영상의 시점 왜곡 잡고 3D 월드로 복원하는 신기술 공개

최신 비디오 생성 AI가 만들어낸 영상은 겉보기에 흠잡을 데 없어 보이지만, 이를 3D 공간으로 변환하려고 프레임을 뜯어보면 난처한 상황에 부딪힙니다. 프레임이 바뀔 때마다 물체의 형태가 미세하게 뒤틀리고 기하학적 정보가 충돌해 결과물이 온통 유령 같은 잔상과 파편으로 뒤덮이기 때문입니다.

연구진은 이러한 모순을 깔끔하게 잡아내는 신기술 'World Reconstruction from Inconsistent Views'를 공개했습니다. AI가 생성한 비디오의 시점 간 왜곡을 정밀하게 보정해 사람이 직접 걸어 다닐 수 있는 일관된 3D 월드로 재구성해 주는 기법입니다.

고무처럼 늘어나는 왜곡을 정렬하는 기술

영상 확산 모델이 만드는 화면은 3차원 물리 법칙에 딱 맞아떨어지는 현실 영상이 아닙니다. 프레임마다 미세한 시각적 왜곡이 생기기 때문에 기존의 강체 기반 3D 복원 알고리즘을 그대로 적용하면 완전히 무너집니다.

연구진은 이를 해결하기 위해 3단계 파이프라인을 구축했습니다. 먼저 기하학 파운데이션 모델을 사용해 각 프레임의 깊이와 카메라 위치를 추정하고 픽셀 단위 3D 포인트 클라우드로 변환합니다. 초기 단계에서는 프레임 간 불일치로 인해 표면들이 제자리를 찾지 못하고 겹겹이 흩어져 있습니다.

핵심은 두 번째 단계인 비강체 프레임-모델 반복 최근접점(ICP) 정렬입니다. 프레임 간의 왜곡된 지점들을 유기적으로 추적하고 글로벌 최적화를 거쳐, 찌그러진 형상을 하나의 표준 좌표계로 반듯하게 펴주며 얇고 선명한 3D 표면을 완성합니다.

마지막으로 정렬된 포인트 클라우드를 기반삼아 역변형 렌더링 손실을 적용한 2D 가우시안 스플래팅(2DGS) 최적화를 진행합니다. 공개된 웹 데모에서는 브라우저 실시간 뷰어를 위해 3DGS로 학습하고 .sog 포맷으로 압축해, 마우스와 키보드로 공간을 직접 탐색할 수 있도록 지원합니다.

영상 한 편이면 충분, 모델도 가리지 않는다

이 기술의 가장 매력적인 점은 진입 장벽이 낮다는 것입니다. 복잡한 다중 시점 촬영 없이 단 한 편의 생성 비디오에서 50장의 프레임을 샘플링하는 것만으로도 디테일이 살아있는 3D 장면을 뽑아냅니다.

360도 전체를 둘러보는 대형 공간을 만들고 싶다면 WorldExplorer 같은 점진적 확장 방식을 접목해 SEVA로 생성한 비디오 시퀀스를 최대 32개까지 연결해 거대한 일관된 맵으로 확장할 수도 있습니다.

또한 특정 비디오 생성기에 종속되지 않는 범용성을 갖췄습니다. 텍스트 기반 모델인 Wan-2.2를 비롯해 카메라 제어가 가능한 ViewCrafter, Gen3C, SEVA, Voyager, 그리고 차세대 월드 모델인 Genie 3와 HY-WorldPlay까지 모두 성공적으로 3D 변환을 마쳤습니다. 앞단에서 어떤 영상 도구를 쓰든 상관없이 뒷단에서 깔끔하게 수습해 주는 셈입니다.

왜 중요한가

3D 콘텐츠 제작자나 인디 게임 개발자에게는 매우 실용적인 파이프라인이 열렸습니다. 네이티브 3D 생성 모델을 처음부터 학습시키는 것은 막대한 비용이 들고 표현할 수 있는 에셋도 한정적입니다. 하지만 이 방식을 활용하면 기존 비디오 AI로 원하는 분위기의 워크스루 영상을 뽑은 뒤, 후처리만으로 탐색 가능한 3D 월드를 즉시 확보할 수 있습니다.

산업 측면에서도 3D 생성 분야의 경쟁 구도를 바꿀 만합니다. 비디오 모델 자체가 스스로 완벽한 3D 물리 정합성을 갖출 때까지 기다릴 필요 없이, 비디오 생성기가 가진 풍부한 표현력을 그대로 흡수하면서 후처리 기하학 최적화로 공간 일관성을 완성할 수 있음을 입증했기 때문입니다.

우리는 이 연구의 접근법이 매우 영리하다고 봅니다. 비디오 모델의 고유한 결함인 시각적 모순을 억지로 부인하지 않고, 비강체 정렬이라는 고전적인 컴퓨터 비전 해법으로 영리하게 매만져 실시간 상호작용이 가능한 가상 공간으로 탈바꿈시켰습니다.