MoVerse: 한 장의 사진으로 360° 세계 구축, RTX 4090서 8FPS 실시간 탐색

스마트폰으로 찍은 평범한 풍경 사진 한 장을 건네면, 지금의 동영상 생성 AI는 기껏해야 몇 초짜리 카메라 이동 영상을 만들어 주는 게 전부였습니다.

하지만 사진 속 세상에 직접 들어가 방향키를 누르며 돌아다닐 수 있다면 이야기가 달라집니다. 6월 11일 공개된 비디오 월드 모델 MoVerse는 바로 이 지점을 파고듭니다. 화각이 좁은 일반 이미지 한 장만으로 실시간 탐색이 가능한 360도 3D 공간을 구축하며, 고가의 서버가 아닌 단일 소비자용 GPU인 NVIDIA RTX 4090에서 초당 8프레임(8FPS) 렌더링을 구현했습니다.

세계 구축과 비디오 렌더링의 영리한 분리

단일 정지 화면으로 탐색 가능한 월드 모델을 만들 때 가장 큰 난관은 기하학적 일관성과 실시간성입니다. 뒤를 돌았을 때 풍경이 왜곡되지 않아야 하고, 사용자의 조작에 맞춰 지연 없이 화면을 뿜어내야 하기 때문입니다.

MoVerse는 공간을 짓는 과정과 화면을 그리는 렌더링 과정을 둘로 나누어 이 문제를 해결했습니다.

먼저 모델은 좁은 입력 이미지를 토폴로지 인식 확산 모델을 통해 중력 방향에 맞춘 360도 파노라마로 확장합니다. 3D 연산을 시작하기 전에 빠져 있던 주변 시야를 먼저 채워 넣는 방식입니다.

이어 이 파노라마를 3D 가우시안 스캐폴드(3D Gaussian scaffold)로 변환해 장면의 영구적인 3D 공간 메모리로 고정합니다. 카메라 시점이 어디로 이동하든 변하지 않는 뼈대를 미리 세워 두는 셈입니다.

마지막 렌더링 단계에서는 양방향 확산 교사 모델을 인과적 자기회귀 학생 모델로 증류해 적용했습니다. 이를 통해 사용자가 조작하는 카메라 경로를 따라 지연 시간을 엄격히 제어하며 매끄러운 비디오 스트리밍을 구현합니다.

실사 환경뿐만 아니라 3D 카툰, 유화, 지브리 애니메이션 스타일의 일러스트까지 다양한 화풍을 무리 없이 3차원 공간으로 변환해 냅니다.

4090에서 돌아가지만, 화질 타협은 뚜렷하다

단일 RTX 4090에서 8FPS를 뽑아낸다는 점은, 수억 원대 클러스터에 의존하지 않고 개인용 PC에서도 인터랙티브 월드 모델을 실행할 수 있음을 보여줍니다.

물론 당장의 대가도 분명합니다.

공개된 결과물은 해상도가 낮고 전반적으로 화면이 다소 뭉개져 흐릿합니다. 지금 단계는 어디까지나 인터랙티브한 조작감과 공간 일관성을 입증하는 프로토타입에 가깝습니다.

공개 일정의 경우 현재 공식 웹페이지에 코드 버튼이 마련되어 있습니다. 연구진은 현재 기업 내부 컴플라이언스 심사가 진행 중이며, 약 한 달간의 심사를 거친 뒤 코드와 모델 가중치를 포함한 자료 전체를 공개할 예정이라고 밝혔습니다.

왜 중요한가

그동안 생성형 비디오 시장은 감상용 고화질 클립을 만드는 데 치중해 왔습니다. 사용자는 AI가 만들어 준 정해진 각도의 영상을 지켜볼 수밖에 없었습니다.

MoVerse는 완전한 신경망 기반 생성과 전통적인 3D 기하 구조 사이에서 영리한 타협점을 찾아냈습니다. 3D 가우시안으로 공간의 물리적 기억을 단단히 붙잡아 두고, 그 위를 초경량 증류 비디오 모델로 덮어 렌더링하는 구조는 일관성과 반응성을 동시에 잡는 가장 현실적인 접근법입니다.

인디 게임 개발자나 공간 기획자라면 단 한 장의 콘셉트 아트로 로컬 장비에서 돌아가는 공간 프로토타입을 뽑아내는 파이프라인을 기대해 볼 수 있습니다.

우리가 보기에 비록 지금은 화질이 거칠고 8프레임에 불과할지라도, 클라우드 종속을 벗어나 소비자 하드웨어 위에서 실시간 조작의 문을 열었다는 점 하나만으로도 충분히 눈여겨볼 만한 전환점입니다.