ReactiveGWM 공개: 프롬프트로 NPC 전술까지 조종하는 게임 월드 모델

지금까지 공개된 비디오 기반 게임 월드 모델들을 직접 다뤄보면 한 가지 명확한 한계에 부딪히게 됩니다. 화면 속 NPC가 독립적인 캐릭터라기보다는 그저 플레이어 주변을 맴도는 배경 픽셀처럼 움직이기 때문입니다.

연구팀이 반응형 게임 월드 모델인 ReactiveGWM을 오픈소스로 공개했습니다. 플레이어의 키보드 조작과 상대 NPC의 전술 프롬프트를 분리해, 격투를 벌이면서 동시에 적에게 공격이나 방어 같은 전략을 지시할 수 있는 모델입니다.

화면에 출력되는 장면은 기존 게임 엔진이 렌더링한 결과물이 아니라 인공지능이 생성해 내는 실시간 비디오입니다. ReactiveGWM은 이 비디오 월드 모델 안에서 NPC와의 상호작용을 구현해 냈습니다.

조작키와 NPC 전술을 서로 다른 경로로 제어

기존 모델들은 화면 전체를 하나의 덩어리로 학습했기 때문에, 플레이어의 조작과 그에 반응하는 상대의 물리적 인과관계를 제대로 구분하지 못했습니다.

ReactiveGWM의 해법은 둘을 떼어내는 것이었습니다. 플레이어의 버튼 입력은 가벼운 가산 편향 형태로 디퓨전 백본에 직접 주입해 즉각적인 조작 반응성을 확보했습니다.

반면 NPC의 행동은 공격, 방어, 제어 같은 고차원 전략 프롬프트로 변환되어 크로스 어텐션 모듈을 통해 모델에 반영됩니다. 두 편의 《스트리트 파이터》 게임으로 실험한 결과, 플레이어가 정교하게 기술을 구사하는 동안 상대 NPC는 프롬프트가 지시한 전술에 맞춰 방어하거나 공격해 오는 모습을 보였습니다.

다른 월드 모델에도 바로 꽂아 쓰는 모듈형 설계

이 프로젝트의 또 다른 강점은 게임에 구애받지 않는 높은 범용성입니다.

크로스 어텐션 모듈이 학습하는 것은 특정 캐릭터의 그래픽이 아니라, 상대와의 상호작용 논리 그 자체입니다. 덕분에 제로샷 전술 전이가 가능합니다.

즉, 별도의 추가 라벨링이나 재학습 없이도 이미 만들어진 다른 게임 월드 모델에 이 모듈을 그대로 장착해 프롬프트로 제어 가능한 NPC를 바로 구현할 수 있습니다.

기반 모델로는 비디오 파운데이션 모델인 Wan 2.2를 사용했으며, GitHub에 소스 코드와 로컬 실행 가이드가 모두 올라와 있습니다. 구조가 비교적 가벼워 일반 중고급형 GPU가 탑재된 PC에서도 직접 실행해 볼 수 있습니다.

왜 중요한가

생성형 게임 환경에서 가장 큰 난제는 화질이 아니라 주체 간의 상호작용과 인과관계였습니다. 혼자서 텅 빈 가상 비디오 속을 배회하는 수준을 넘어, 상대 캐릭터와 전술적인 공방을 주고받을 수 있게 만든 것은 분명 의미 있는 진전입니다.

특히 모든 동작을 하나의 거대한 엔드투엔드 모델에 몰아넣지 않고, 플레이어 조작과 NPC 전략을 모듈식으로 분리해 낸 설계가 영리합니다. 덕분에 인디 개발자나 연구자들도 막대한 컴퓨팅 비용 없이 기존 오픈소스 비디오 모델 위에 인터랙티브한 프로토타입을 얹어볼 수 있게 되었습니다.

물론 지금 당장 상용 격투 게임을 대체할 수 있는 수준은 아닙니다. 프롬프트로 지시하는 NPC 행동은 아직 거시적인 성향 부여에 가깝고, 실시간 생성에 따르는 지연 시간과 프레임 레이트의 한계도 여전합니다. 하지만 게임 엔진 없는 비디오 생성형 인터랙션의 실현 가능성을 보여주었다는 점에서 눈여겨볼 만한 프로젝트입니다.