마이크로소프트·Xbox, 게임 플레이 생성 AI 모델 '뮤즈' 공개

인공지능이 게임 그래픽만 그리는 것을 넘어 컨트롤러 패드의 조작과 물리 법칙까지 통째로 이해한다면 게임 개발은 어떻게 달라질까요?

마이크로소프트 연구소와 엑스박스 산하 닌자 시어리는 2월 19일 학술지 네이처를 통해 새로운 생성형 AI 모델 '뮤즈(Muse)'를 공개했습니다. 연구진은 이 모델을 최초의 '세계 및 인간 행동 모델(WHAM)'이라고 정의했습니다.

단순히 그럴듯한 영상을 만들어내는 비디오 생성 모델과 달리, 뮤즈는 3D 게임 월드의 구조와 물리 법칙, 그리고 플레이어의 컨트롤러 입력에 게임이 어떻게 반응하는지를 함께 이해합니다.

실제 이용자 대전 데이터를 학습한 모델

연구는 2022년 말 ChatGPT의 등장에서 시작되었습니다. 연구진은 텍스트에 적용되던 트랜스포머 아키텍처를 게임 조작과 영상 데이터에 대입해 보기로 했습니다.

영국 케임브리지에 함께 위치한 닌자 시어리가 테스트베드를 제공했습니다. 2020년 출시된 4대4 대전 액션 게임 '블리딩 에지(Bleeding Edge)'에서 사용자 동의를 얻어 수집한 실제 대전 기록이 학습 데이터로 쓰였습니다. 초기 V100 클러스터에서 100장의 GPU 규모로 확장성을 입증한 뒤, H100 대규모 클러스터로 학습을 이어갔습니다.

연구팀은 인디 개발사부터 AAA 스튜디오까지 전 세계 게임 제작자 27명을 심층 인터뷰해 피드백을 반영했습니다. 현재 뮤즈의 모델 가중치와 샘플 데이터, 인터랙티브 데모인 WHAM Demonstrator는 Azure AI Foundry를 통해 공개되었습니다.

프로토타입 제작부터 고전 게임 복원까지

엑스박스는 뮤즈의 핵심 활용처로 두 가지를 제시합니다. 첫째는 새로운 게임플레이 기획입니다. 과거에는 핵심 조작감이나 메커니즘을 검증하기 위해 프로그래머가 며칠씩 코드를 짜야 했지만, 이제는 AI가 조작과 렌더링이 결합된 프로토타입 시퀀스를 빠르게 생성해 냅니다.

둘째는 구작 게임의 복원입니다. 엑스박스는 구형 하드웨어에 묶여 접근이 어려워진 클래식 게임들을 뮤즈로 학습시켜, 기기 제한 없이 다양한 화면에서 플레이할 수 있도록 최적화하는 방안을 연구하고 있습니다.

마이크로소프트는 이미 다른 퍼스트 파티 게임으로도 실시간 구동 가능한 AI 모델을 훈련 중이며, 조만간 코파일럿 랩스(Copilot Labs)를 통해 인터랙티브 미니 체험을 선보일 계획입니다.

왜 중요한가

기존 게임 업계의 생성형 AI 도입은 배경 콘셉트 아트나 대사 작성, 3D 텍스처 제작 같은 보조적인 작업에 머물러 있었습니다. 반면 뮤즈는 게임 엔진의 본질인 물리 반응과 패드 조작의 상호작용을 직접 건드립니다.

규모가 작은 인디 스튜디오 입장에서는 큰 자본 없이도 머릿속의 게임플레이 아이디어를 즉시 시뮬레이션해 볼 수 있다는 점에서 활용 가치가 높습니다. 아이디어를 실제 프로토타입으로 검증하는 데 드는 시간과 비용을 획기적으로 줄여줄 수 있습니다.

단순히 비디오 프레임만 생성하는 것이 아니라 조작 입력을 동기화했다는 점은 매우 영리한 접근으로 평가됩니다. 화면만 그럴듯하게 흘러가는 가짜 게임이 아니라, 실제 플레이가 개입할 수 있는 기초를 마련했기 때문입니다.

하지만 상용화까지의 숙제도 뚜렷합니다. 상업용 게임은 밀리초 단위의 즉각적인 반응성과 엄격한 판정 규칙이 생명입니다. AI 모델 특유의 지연 시간이나 조작 불일치가 발생한다면 게이머들을 만족시키기 어렵습니다. 고전 게임을 AI로 복원하겠다는 구상 역시 원작 특유의 정교한 손맛을 훼손하지 않고 담아낼 수 있을지 지켜봐야 합니다.