멀티플레이어 실시간 월드 모델 'MIRA': 게임 엔진 없이 영상 생성만으로 4인 대전 구현

친구 세 명과 함께 '로켓리그' 2v2 매치에 접속해 플레이한다고 상상해 보십시오. 차량이 벽을 타고 달리고, 공중으로 솟구쳐 공을 차 넣으면 화면에 득점 메시지가 뜹니다. 그런데 이 모든 과정 이면에는 언리얼 엔진도, 물리 연산 엔진도, 3D 그래픽 모델도 존재하지 않습니다.

전체 환경을 돌리고 있는 것은 실시간으로 영상을 그려내는 비디오 생성 AI뿐입니다. 플레이어가 키보드를 누르는 순간, 모델은 차가 반응한 다음 프레임을 즉시 생성해 화면에 뿌려줍니다.

연구진이 공개한 MIRA는 바로 이 방식을 구현한 실시간 인터랙티브 멀티플레이어 월드 모델입니다. 50억 파라미터 확산 트랜스포머와 6억 파라미터 비디오 코덱을 결합해, 단 한 장의 엔비디아 B200 GPU에서 네 명의 플레이어를 위한 화면을 20fps로 동시에 실시간 렌더링합니다.

픽셀과 키 입력만으로 익힌 물리 법칙

MIRA가 놀라운 점은 물리 법칙을 코드로 한 줄도 짜 넣지 않았다는 사실입니다. 그럼에도 차량 충돌, 공중 회전, 상대 차량 파괴는 물론, 부스트 잔량을 스스로 추적해 게이지가 바닥나면 부스터 작동을 멈추기까지 합니다.

이 모든 것은 약 1만 시간 분량의 경기 데이터를 통해 학습되었습니다. 사람의 플레이 데이터는 단 1초도 쓰지 않았고, 고성능 봇(Nexto) 간의 2v2 자가 대전에서 추출한 4개 시점 영상과 조작 키 스트림만을 사용했습니다. 게임 내부의 물리 상태 정보는 철저히 검증용으로만 격리되었으며, 모델은 오직 화면과 입력값만을 보고 자랐습니다.

기존 인과적 비디오 모델들은 시간이 흐를수록 영상이 뭉개지거나 왜곡되는 발산 문제가 심각했습니다. 반면 MIRA는 비교적 단순한 아키텍처로도 장시간 안정적인 루프를 유지합니다. 또한 학습 과정에서 입력을 가리는 기법을 적용한 덕분에, 조작을 멈추면 봇 수준의 AI가 주행을 대신하는 오토파일럿 모드도 지원합니다.

왜 중요한가

우리는 MIRA가 단순한 기술 데모를 넘어, 피지컬 AI(로보틱스 및 자율주행) 개발 환경의 판도를 바꿀 중요한 실험이라고 봅니다.

기존 게임 엔진이 멀쩡히 있는데 왜 굳이 AI로 게임 화면을 생성하느냐는 질문에 연구진은 명쾌하게 답합니다. 게임을 즐기고 싶다면 그냥 원작 게임을 하면 된다는 것입니다. 이 모델의 진짜 목적은 현실 세계의 물리 시뮬레이션입니다. 자율주행차나 로봇을 현실에서 무작정 굴리며 충돌 데이터를 모으는 것은 막대한 비용과 사고 위험을 수반하지만, 정교한 월드 모델 내부에서는 무제한으로 안전하게 훈련시킬 수 있습니다.

MIRA는 50억 파라미터 수준의 비교적 가벼운 모델로도 복잡한 다중 에이전트 환경과 물리적 상호작용을 충분히 모사할 수 있음을 증명했습니다. 비록 현재는 3개 경기장과 576p 분할 해상도로 제한되어 있지만, 데이터셋과 학습·추론 코드를 전면 오픈소스로 공개함으로써 전 세계 연구자들이 인터랙티브 월드 모델을 연구할 수 있는 결정적인 발판을 놓았습니다.