런웨이, 실시간 상호작용 세계 모델 GWM-1 공개…로봇 시뮬레이션 확장

비디오 생성 AI 경쟁이 단순 화질 싸움을 넘어 현실 물리 시뮬레이션으로 확장되고 있습니다.

Runway는 12월 11일, 첫 범용 세계 모델(General World Model) 제품군인 GWM-1을 발표했습니다. 얼마 전 공개되어 Video Arena 리더보드 1위에 오른 Gen-4.5 기반 모델로, 프레임을 실시간으로 연속 생성하며 카메라 시점, 로봇 제어 명령, 오디오 등의 입력을 받아 상호작용할 수 있습니다.

Runway의 최고기술책임자(CTO) Anastasis Germanidis는 픽셀을 직접 예측하도록 훈련하는 것이 범용 시뮬레이션에 도달하는 가장 확실한 길이라고 강조했습니다. 대규모 데이터와 모델 크기가 뒷받침되면 AI가 현실의 물리 법칙과 공간 구조를 스스로 학습한다는 설명입니다.

세 가지 특화 모델로 쪼갠 현실 시뮬레이션

GWM-1은 하나의 모델로 모든 것을 처리하는 대신, 현재는 세 가지 후속 훈련(post-trained) 모델로 나뉘어 제공됩니다. 향후에는 이를 단일 기반 모델로 통합한다는 계획입니다.

첫 번째인 GWM Worlds는 프롬프트나 참조 이미지를 바탕으로 실시간 탐색이 가능한 3D 가상 공간을 만들어냅니다. 720p 해상도와 24fps로 구동되며, 기하학적 구조와 조명, 물리 반응을 계산해 사용자가 자유롭게 이동할 수 있는 환경을 만듭니다. 게임 환경 구축이나 자율 에이전트 훈련 공간으로 활용됩니다.

두 번째인 GWM Robotics는 로봇 공학 연구진을 겨냥한 모델입니다. 전용 파이썬 SDK를 통해 제공되며, OpenVLA나 OpenPi 같은 로봇 정책 모델을 실제 기기 없이 시뮬레이션 내부에서 테스트할 수 있습니다. 날씨 변화나 장애물 같은 변수를 추가한 합성 데이터를 대량으로 생성하고, 하드웨어 손상 없이 다양한 가상 시나리오를 검증하도록 돕습니다.

세 번째인 GWM Avatars(Runway Characters)는 음성 기반 대화형 아바타 생성 모델입니다. 자연스러운 시선 처리와 표정, 손짓을 재현하며 오랜 시간 대화를 이어가도 품질이 저하되지 않습니다. 해당 기능은 이미 API와 웹을 통해 배포되었습니다.

Runway는 동시에 Gen-4.5 모델의 업데이트도 단행했습니다. 유료 사용자들은 이제 비디오 내 음성 및 대사를 직접 생성하고 편집할 수 있으며, 여러 샷에 걸쳐 배경이나 사물을 일관되게 수정하는 다중 샷 편집 기능을 이용할 수 있습니다.

왜 중요한가

Runway의 이번 행보는 비디오 생성 기업이 콘텐츠 제작 도구를 넘어 로보틱스와 공간 컴퓨팅이라는 거대 산업으로 확장하는 중요한 분기점이라고 봅니다.

중국 콰이쇼우의 클링(Kling)이나 오픈AI 등과의 단순 영상 품질 경쟁은 머지않아 가격 출혈 경쟁으로 이어질 가능성이 큽니다. 반면 Runway는 영상 모델의 물리 이해도를 산업용 시뮬레이터로 전환해 새로운 수익 모델을 확보하려 하고 있습니다.

로봇 개발사 입장에서도 매력적인 도구입니다. 현실에서 로봇 팔을 움직여 데이터를 수집하는 작업은 막대한 비용과 시간이 들지만, GWM Robotics를 활용하면 위험 부담 없이 합성 데이터를 만들고 정책을 검증할 수 있습니다.

다만 한계도 뚜렷합니다. 픽셀을 그럴듯하게 이어붙이는 비디오 기반 시뮬레이션이 실제 물리적 마찰력이나 충돌을 얼마나 정밀하게 대변할 수 있을지는 미지수입니다. 게임 속 렌더링 결함은 웃고 넘길 수 있지만, 산업용 로봇이 잘못된 물리 법칙을 학습하면 심각한 안전 문제로 이어집니다. Runway의 세계 모델이 시각적 볼거리를 넘어 진짜 물리 엔진을 대체할 수 있을지는 현업 로봇 엔지니어들의 실전 검증에 달려 있습니다.