영상 한 편으로 탐험 가능한 3D 세계 생성…'인스파티오-월드' 공개

동영상을 볼 때 시청자의 시선은 언제나 촬영된 카메라 앵글 안에 갇혀 있을 수밖에 없었다.

최신 생성형 AI 모델 역시 다음 프레임의 픽셀을 예측해 덧붙이는 방식에 가깝다 보니, 화면을 돌렸다가 다시 제자리로 돌아오거나 빠른 움직임이 발생하면 물체가 뒤틀리는 왜곡이 잦았다.

연구진은 단 한 편의 단일 시점 영상으로 상호작용 가능한 4D 공간을 복원해내는 시뮬레이터 'INSPATIO-WORLD'의 소스코드를 오픈소스로 공개했다. 평범한 2D 비디오를 직접 자유롭게 걸어 다닐 수 있는 3D 세계로 바꿔놓는 기술이다.

픽셀 추측 대신 장면 내부 시뮬레이션 구축

INSPATIO-WORLD는 화면의 픽셀만 추측하는 대신, 영상 이면에 일관된 가상 세계를 먼저 구축하는 방식을 택했다.

핵심 기술은 STAR(시공간 자기회귀) 아키텍처다. 두 가지 핵심 모듈이 긴밀하게 맞물려 작동하며 장면의 일관성을 유지한다.

'암시적 시공간 캐시'는 입력 영상과 이전 시점의 관측 데이터를 잠재 세계 표현으로 축적해, 사용자가 오랜 시간 공간을 탐색해도 구조가 왜곡되지 않도록 돕는다. '명시적 공간 제약 모듈'은 기하학적 구조를 강제하고 사용자 입력을 물리적으로 자연스러운 카메라 궤적으로 변환한다.

덕분에 시선을 다른 곳으로 돌렸다가 다시 돌아와도 물체가 사라지지 않고 제자리를 지킨다. 장면을 일시 정지하거나 되감고, 슬로모션으로 재생하는 일도 가능하다. 여기에 실제 데이터 분포를 가이드로 삼는 JDMD 증류 기법을 더해 합성 데이터 과의존으로 인한 화질 저하도 잡았다.

단일 RTX 4090에서 초당 10프레임 달성

아무리 뛰어난 세계 모델이라도 초고가 데이터센터에서만 돌아간다면 연구실 밖을 벗어나기 힘들다. 이번 연구의 진짜 강점은 뛰어난 구동 효율이다.

엔터프라이즈급 H 시리즈 GPU에서는 초당 24프레임으로 완전한 실시간 동작을 지원하며, 일반 소비자용 단일 RTX 4090 그래픽카드에서도 초당 10프레임으로 렌더링된다.

동급 인터랙티브 모델 중 매개변수 규모가 가장 작은 수준임에도 불구하고, 동적 벤치마크인 'WorldScore-Dynamic' 평가에서 최고점을 기록했다. 현재 깃허브 등에 소스코드와 로컬 실행 가이드가 모두 공개되어 있어 하드웨어를 갖춘 개발자라면 즉시 내려받아 테스트할 수 있다.

왜 중요한가

세계 모델이라는 화두가 AI 업계를 뒤흔들고 있지만, 대다수는 여전히 계산 비용이 천문학적인 데다 사용자가 직접 조작할 수 없는 정적 비디오 생성에 머물러 있었다.

INSPATIO-WORLD는 무작정 모델 크기를 키우는 대신, 시공간 캐시와 기하 제약이라는 구조적 해법을 통해 연산 부담을 덜어냈다. 소비자용 플래그십 GPU인 4090 한 장에서 인터랙티브 생성을 구현했다는 사실 자체로 개인 창작자와 소규모 스튜디오에 주는 파급력이 크다.

특히 자율주행차나 로봇 훈련 분야에 직접적인 혜택이 돌아갈 전망이다. 인터넷에 넘쳐나는 일반 주행 비디오나 작업 영상을 곧바로 에이전트가 탐험할 수 있는 훈련용 샌드박스로 바꿀 수 있기 때문이다. 게임 개발자 역시 실사 영상 클립을 플레이 가능한 인터랙티브 환경으로 손쉽게 전환할 수 있다.

다만 4090 환경에서의 초당 10프레임은 상호작용의 가능성을 입증한 수준일 뿐, 쾌적한 실시간 게임 플레이라 부르기엔 다소 끊김이 있다. 원본 영상에 아예 담기지 않은 사각지대로 깊숙이 들어갔을 때의 물리적 일관성도 풀어야 할 숙제지만, 단일 영상을 '살아있는 세계'로 바꾸는 경로를 확실히 열어젖혔다.