어도비·JHU, 비디오 세계 모델 '원더' 공개…단일 이미지로 실시간 상호작용

사진 한 장을 화면에 띄우고 키보드의 W 키를 누르자, 마치 1인칭 게임 속으로 걸어 들어가듯 사진 속 공간이 실시간으로 펼쳐진다. 골목 구석구석을 둘러본 뒤 다시 처음 위치로 걸어 나와도 카페 간판과 건물의 배치는 조금 전 모습 그대로 자리를 지키고 있다.

미리 제작된 3D 그래픽 데이터가 아니라, 비디오 생성 인공지능이 프레임마다 실시간으로 계산해 그려내는 가상 환경이다. 2026년 7월 28일, 어도비와 존스홉킨스대학교 연구진은 이처럼 자유로운 카메라 조작과 높은 일관성을 갖춘 비디오 세계 모델 '원더(Wonder)'를 공개했다.

사용자가 단 한 장의 이미지나 기존 영상을 입력하면, 모델은 0.5초의 일정한 지연 시간과 초당 16프레임(16 FPS) 속도로 상호작용 가능한 화면을 끊김 없이 생성한다. 6자유도(6-DOF) 카메라 이동을 지원하며, 1분 넘게 새로운 구역을 돌아다녀도 주변 환경이 일그러지지 않는다.

카메라 제어와 장기 기억의 난제 해결

최근 구글의 지니 3(Genie 3)을 비롯한 세계 모델 연구가 빠르게 이어지고 있지만, 대부분의 모델은 정밀한 시점 조작과 장기 기억 유지라는 두 가지 장벽에 부딪혀 왔다.

기존 방식은 카메라의 위치와 각도를 단순한 수치 데이터로 변환해 모델에 주입했다. 하지만 신경망이 순수 좌표값을 입체적 공간감으로 해석하는 데 한계가 있어, 시점을 돌릴 때마다 배경이 흔들리거나 왜곡되기 일쑤였다. 원더는 고밀도 좌표장(Dense Coordinate Field)을 도입해 카메라 이동 궤적을 화면과 일치하는 3D 시각 신호로 렌더링했다. 인공지능이 숫자를 해독하는 대신 카메라의 움직임을 '눈으로 보면서' 장면을 구성하게 만든 셈이다.

또 다른 고질병이었던 기억력 감퇴도 기술적으로 풀어냈다. 통상 AI 모델은 시점을 한 바퀴 돌려 원래 자리로 돌아오면 이전 사물을 잊어버리고 엉뚱한 배경을 만들어낸다. 원더는 생성 과정 전체의 키-값(KV) 캐시를 온전히 보존하면서, 희소 어텐션(Sparse Attention) 메커니즘을 적용해 필요한 시점의 토큰만 효율적으로 호출한다. 탐색 시간이 길어져도 단계별 계산량이 늘어나지 않아 0.5초의 지연 시간을 안정적으로 유지할 수 있다.

여기에 거대 교사 모델을 경량 학생 모델로 증류하는 과정에서 다중 학생(Mixture-of-Students) 구조와 GAN 정규화를 결합해, 빠른 속도를 확보하면서도 제어 정밀도와 장면 다양성을 지켜냈다.

이미지 넘어 기존 영상도 '재촬영'

정지된 사진뿐만 아니라 기존 영상을 조건으로 입력받아 실시간으로 다시 촬영하는 기능도 주목할 만하다.

공개된 시연 영상을 보면, 인물들이 액션을 펼치는 비디오 클립을 입력했을 때 원래 영상 속 인물의 동작은 그대로 유지하면서 사용자가 키보드로 시점을 옮겨가며 다각도에서 장면을 실시간 관찰할 수 있다. 평면 영상 속에 들어가 가상 카메라를 들고 현장을 누비는 것과 다름없다.

물론 아직 한계는 뚜렷하다. 애니메이션 아트, 디지털 아트, 실사 환경 등 다양한 스타일을 소화하지만, 화면 가장자리에 노이즈와 왜곡이 관찰되며 시점을 급격히 전환할 때 텍스처가 번지는 현상이 남아 있다.

연구진은 공식 페이지를 통해 코드와 모델을 조만간 공개하겠다고 밝혔으나, 커뮤니티에서는 어도비가 그동안 핵심 AI 모델의 오픈소스 공개에 소극적이었던 점을 들어 실제 가중치 배포 여부를 지켜봐야 한다는 반응도 나온다.

왜 중요한가

기존 비디오 생성 도구가 사용자가 관람만 할 수 있는 완성된 비디오 클립을 뽑아내는 수준이었다면, 원더는 사용자의 실시간 입력에 반응해 공간을 형성하는 게임 엔진의 영역에 발을 들여놓았다.

영상 제작자와 게임 개발자에게 이러한 실시간 시점 전환은 사전 시각화(Pre-visualization) 작업을 획기적으로 단축할 수 있는 무기다. 며칠씩 걸려 3D 더미 모델을 만들지 않고도, 콘셉트 아트 한 장이나 거친 영상 클립만으로 최적의 카메라 구도와 동선을 실시간 점검할 수 있다. 로봇 공학 분야에서도 자율주행이나 환경 탐색 훈련을 위한 반응형 시뮬레이션 환경으로 응용될 잠재력이 크다.

기술적으로도 카메라 궤적을 시각 데이터화하고 희소 검색을 통해 메모리 병목을 뚫어낸 접근은 매우 실용적이다. 초고화질 오프라인 생성에만 매달리던 업계 트렌드를 낮은 지연율과 사용자 상호작용성 중심으로 전환하는 계기가 될 수 있다.

우리는 어도비의 폐쇄적 배포 정책과 구동 하드웨어 요구 사양이 향후 생태계 확장의 관건이 될 것으로 본다. 만약 독자적인 유료 소프트웨어 기능으로만 묶어둔다면 영향력은 제한되겠지만, 이 같은 실시간 신경 렌더링 파이프라인이 창작 툴 전반으로 확산된다면 3D 그래픽 파이프라인의 문법 자체가 바뀔 수 있다.