런웨이, 실시간 인터랙티브 세계 모델 'GWM 월즈 2' 공개

지금까지의 AI 비디오 생성은 프롬프트를 입력하고 한참을 기다려 5초 안팎의 고정된 클립을 받아보는 단방향 방식이 대부분이었습니다.

런웨이가 9월 3일 공개한 'GWM 월즈 2'는 이 틀을 깨부수고 비디오 생성을 실시간 상호작용 시뮬레이션으로 바꿨습니다. 720p 해상도와 24fps의 영상, 48,000Hz 음향을 끊김 없이 생성하며 사용자의 입력에 실시간으로 반응합니다.

무엇보다 생성 시간에 정해진 한계가 없어, 조작을 멈추지 않는 한 가상 세계를 무제한으로 탐험할 수 있습니다.

게임하듯 키보드로 가상 세계를 조작하다

지난해 12월 선보인 GWM 월즈의 후속작인 이번 모델은 '월드프롬프트'라는 독자적 입력 방식을 적용했습니다.

세계를 변하지 않는 요소와 시간에 따라 변하는 요소로 나눈 것이 핵심입니다. 첫 프레임 이미지와 환경, 조명, 물리 법칙 등을 정의하는 '생성 프롬프트'를 바탕에 두고, 그 위에 사용자의 행동 명령과 카메라 움직임 스트림을 얹어 실시간으로 연산합니다.

실제 조작은 3D 게임을 플레이하는 감각과 거의 같습니다. 1인칭이나 3인칭 시점으로 걸어 다니거나 차를 몰 수 있으며, 카메라 앵글과 캐릭터의 이동은 독립적으로 제어됩니다.

실시간 플레이 도중 텍스트를 직접 칠 수는 없기 때문에, 런웨이는 데모에서 키 입력을 미리 작성된 프롬프트에 연결했습니다. W 키를 누르면 캐릭터가 앞으로 걷고, 마우스 클릭으로 물건을 던지는 식입니다. 스탠드 조명을 켜서 색을 바꾸거나 무대에 불을 지르는 등 배경과의 상호작용도 자연스럽습니다. 캐릭터 간의 대화 역시 목소리 톤과 언어에 맞춰 정확한 립싱크로 출력됩니다.

라이브킷을 활용한 멀티플레이도 지원해 여러 사용자가 각자의 캐릭터를 맡거나, 한 사람이 디렉터가 되어 조명과 환경을 통제할 수도 있습니다.

자기회귀 확산 모델로 구현한 무한 연산

기술적으로 GWM 월즈 2는 영상과 음향을 동시에 다루는 자기회귀 확산 모델입니다. 기존의 양방향 모델은 화질은 뛰어나지만 속도가 느려, 사후 학습을 통해 실시간 연산이 가능한 자기회귀 방식으로 전환했습니다.

각 프레임을 생성할 때 첫 프레임과 초기 설정, 현재 프레임의 입력값, 그리고 슬라이딩 윈도우 캐시에 담긴 직전 프레임 데이터를 함께 참조합니다. 지나간 프레임은 순차적으로 캐시에서 비워내기 때문에 긴 시간 동안 연산을 지속할 수 있습니다.

다만 이번 공개는 리서치 프리뷰 단계로, 처리 속도를 확보하기 위해 화질을 일부 양보했습니다. 시점을 너무 급격하게 회전하면 텍스처와 형태가 일그러지는 현상이 발생하며, 장기 기억력 역시 아직 불완전합니다. 현재 일반 대중에게 전면 개방된 것은 아니며, 별도 문의 폼을 통해 접근할 수 있습니다.

왜 중요한가

정적인 비디오 파일을 렌더링하던 기술이 실시간으로 조작 가능한 동적 시뮬레이터로 진화했다는 점에서 큰 의미가 있습니다.

게임 개발자와 크리에이터에게는 3D 그래픽 엔진의 방대한 에셋 제작 과정 없이도 새로운 인터랙티브 환경을 구현해 볼 수 있는 가능성을 열어줬습니다. 빠른 시점 회전 시 그래픽이 뭉개지는 한계 탓에 당장 상용 게임 엔진을 대체하기는 어렵지만, 프로토타입 제작이나 인터랙티브 콘텐츠 실험용으로는 충분히 매력적입니다. 특히 텍스트 지시에 따라 물리 환경을 시뮬레이션할 수 있어 로봇 공학이나 체화 AI의 가상 훈련장으로도 가치가 높습니다.

우리는 런웨이가 고화질 오프라인 영상 렌더링 경쟁에서 벗어나 초저지연과 상호작용성에 무게를 둔 선택을 매우 현명하다고 봅니다. 키보드 단축키로 프롬프트를 묶어 입력 지연을 해결한 방식도 현실적인 접근입니다.

영상을 '시청'하는 시대에서 프롬프트로 생성된 세계를 직접 '플레이'하는 시대로의 전환이 본격적으로 시작되고 있습니다.