오버월드, 키보드와 마우스로 실시간 조작하는 세계 모델 '웨이포인트-1' 오픈소스 공개

Waypoint-1은 오버월드가 오픈소스로 공개한 실시간 대화형 비디오 확산 모델로, 키보드와 마우스를 사용해 AI가 생성하는 세계를 실시간으로 직접 돌아다닐 수 있게 해줍니다.

기존의 많은 세계 모델들은 이미 만들어진 비디오 생성 모델에 제한적인 조작 기능을 덧붙인 수준이어서, 몇 프레임마다 카메라를 조금씩 돌리는 정도에 그치거나 심각한 입력 지연을 겪어야 했습니다. 반면 Waypoint-1은 처음부터 실시간 상호작용을 염두에 두고 설계되어, 지연 시간 없이 자유롭게 키보드와 마우스로 화면을 제어할 수 있습니다.

할 수 있는 일과 구동 원리

사이버펑크 도시나 계곡 같은 장면을 텍스트로 설명하고 초기 기준 프레임을 지정하면, 사용자의 키보드 입력과 마우스 움직임에 맞춰 모델이 실시간으로 새로운 장면을 한 프레임씩 렌더링합니다. 사용자의 조작 신호 전체가 모델의 실시간 맥락 데이터로 활용되는 구조입니다.

모델의 뼈대는 압축된 잠재 공간에서 동작하는 프레임 인과형 렉티파이드 플로우 트랜스포머(Rectified Flow Transformer)입니다. 컨트롤러 입력 및 텍스트 설명과 결합된 1만 시간 분량의 다양한 비디오 게임 플레이 데이터셋으로 사전 학습되었습니다.

추론 과정의 오차 누적을 줄이기 위해 디퓨전 포싱(Diffusion Forcing)으로 개별 프레임 디노이징을 학습시킨 뒤, 추론 환경과 일치시키는 DMD 기반 셀프 포싱(Self-Forcing) 사후 학습을 거쳤습니다. 이를 통해 적은 단계의 디노이징과 단일 패스 CFG로도 매끄러운 생성이 가능해졌습니다.

RTX 5090에서 60FPS 달성 및 체험 방법

오버월드는 고성능 파이썬 추론 라이브러리인 WorldEngine도 함께 오픈소스로 선보였습니다. RTX 5090 GPU에서 2.3B 매개변수를 지닌 Waypoint-1-Small을 실행할 경우 초당 약 3만 개의 토큰 패스를 처리할 수 있습니다. 4단계 디노이징 설정에서는 30 FPS, 2단계 설정에서는 최대 60 FPS까지 뽑아냅니다.

이러한 성능은 AdaLN 조건 투영 캐싱, Flex Attention 기반의 정적 롤링 KV 캐시, QKV 행렬곱 융합, torch.compile 최적화라는 네 가지 엔지니어링 튜닝을 통해 완성되었습니다.

현재 허깅페이스에 약 25.2GB 크기의 Waypoint-1-Small 가중치가 공개되어 누구나 로컬에 내려받을 수 있으며, 더 큰 Medium 모델도 곧 출시될 예정입니다. 로컬 환경 구성이 번거롭다면 overworld.stream 사이트에서 바로 웹 데모를 조작해볼 수 있습니다.

다만 아직 해상도와 그래픽 완성도가 다소 투박하고, 오랫동안 돌아다닐 경우 공간의 일관성이 무너지거나 왜곡이 나타나는 한계는 분명히 존재합니다.

왜 중요한가

Waypoint-1이 보여준 진짜 가치는 화질보다 상호작용 생성의 '반응 속도'를 극단적으로 끌어올렸다는 점입니다. 일반 소비자용 그래픽카드 한 장으로 지연 없는 60 FPS 반응형 비디오 생성을 증명해 낸 것은 뉴럴 렌더링 기반 가상 세계의 진입 장벽을 단숨에 낮춘 성과입니다.

게임 개발자나 인터랙티브 미디어 엔지니어라면 지금 바로 라이브러리를 받아 직접 키보드를 두드려볼 가치가 충분합니다. 비록 화면 일관성이나 왜곡 같은 문제는 더 다듬어야 하지만, 입력 조작을 학습 초기 단계부터 깊게 엮어낸 방식은 차세대 대화형 세계 모델이 나아가야 할 명확한 이정표를 보여줍니다.