구글 GameNGen 공개: 코드 없이 AI로 고전 게임 '둠' 실시간 구동

기술 업계에는 화면과 칩만 있으면 어떻게든 1993년작 고전 FPS 게임 둠(Doom)을 구동하고 마는 오랜 밈이 있습니다.

하지만 구글과 이스라엘 텔아비브 대학교 연구진은 완전히 다른 방식을 택했습니다. 게임 엔진을 포팅한 것이 아니라, 코드 한 줄 없이 AI가 실시간으로 게임 화면을 환각(생성)하도록 만든 것입니다.

이번에 공개된 AI 모델 '게임엔진(GameNGen)'은 단일 TPU 환경에서 초당 20프레임 이상의 속도로 둠 게임을 실시간 시뮬레이션합니다.

코드 없이 다음 픽셀을 예측하는 AI

기존 게임은 엔진이 물리 법칙과 충돌, 캐릭터 상태를 계산해 화면에 그래픽을 렌더링합니다. GameNGen은 이 과정을 뒤집어, 게임 실행을 '다음 프레임 이미지 예측' 작업으로 전환했습니다.

이 시스템의 기반은 이미지 생성 모델인 스테이블 디퓨전 1.4(Stable Diffusion 1.4)를 개조한 것입니다. 연구진은 2단계 훈련 방식을 적용했습니다.

먼저 강화학습 에이전트를 훈련해 둠을 직접 플레이하게 한 뒤, 방대한 플레이 영상과 조작 로그를 녹화해 훈련 데이터를 구축했습니다.

이어 이 데이터를 바탕으로 커스텀 확산 모델을 학습시켰습니다. 플레이어가 키보드를 누르면, 모델이 직전 프레임들과 입력을 참고해 다음 장면이 어떻게 보여야 할지 실시간으로 추론합니다.

결과는 놀라웠습니다. 10명의 평가자를 대상으로 한 블라인드 테스트에서 1.6초와 3.2초짜리 짧은 영상을 보여주었을 때, 실제 둠 게임 화면을 맞힌 비율은 58%에서 60%에 그쳤습니다. 동전 던지기 확률과 큰 차이가 없는 셈입니다.

스테이빌리티 AI(Stability AI)의 타니슈 매튜 에이브러햄 연구 디렉터는 확산 모델로도 둠을 구동할 수 있음이 입증되었다고 평했습니다. 앱 개발자 닉 도보스 역시 AI가 픽셀을 직접 생각해 낸다면 복잡한 규칙을 코드로 작성할 이유가 무엇이냐며 놀라움을 표했습니다.

3초에 불과한 기억력과 화질 왜곡

확산 모델로 실시간 인터랙티브 환경을 구현하는 데는 치명적인 기술적 난관이 있습니다. 앞선 프레임의 사소한 오차가 누적되면서 화면이 순식간에 뭉개지는 자기회귀 오류 문제입니다.

연구진은 훈련 데이터에 다양한 강도의 무작위 노이즈를 일부러 섞고 모델이 이를 스스로 복원하도록 가르쳐 장시간 구동 시에도 안정적인 렌더링을 유지하도록 했습니다.

그럼에도 한계는 뚜렷합니다. 8x8 픽셀 패치를 4개 잠재 채널로 압축하는 인코더 특성 탓에 화면 세부 묘사가 뭉개지며, 특히 화면 하단의 HUD 체력바에 심한 그래픽 결함이 발생합니다.

더 큰 문제는 3초에 불과한 기억력입니다. 플레이어가 조금 전 지나온 방으로 되돌아가더라도 모델은 과거 상태를 기억하지 못하며, 확률적으로 그럴듯한 장면을 새로 지어낼 뿐입니다.

이 같은 시도는 2018년 월드 모델(World Models), 2020년 게임GAN(GameGAN), 구글 지니(Genie)와 아타리 게임을 시뮬레이션한 다이아몬드(DIAMOND) 등 세계 시뮬레이터 연구 흐름과 맞닿아 있습니다. 젠슨 황 엔비디아 CEO 역시 지난 3월 인터뷰에서 5~10년 내에 비디오 게임 그래픽의 대부분이 AI에 의해 실시간 생성될 것이라고 전망한 바 있습니다.

왜 중요한가

우리는 GameNGen의 본질적인 가치가 레트로 게임 구동이 아니라, 게임 소프트웨어 개발의 패러다임 전환 가능성을 실증했다는 점에 있다고 봅니다.

일반 게이머나 개발자가 지금 당장 실무에 써먹을 수준은 아닙니다. 30년 전 고전 게임 하나를 20프레임으로 돌리기 위해 TPU 한 대를 온전히 태워야 하는 비용 구조는 비현실적이며, 기존 게임의 모방에 머물러 있습니다.

하지만 발상 자체는 대단히 영리합니다. 노이즈 보정 기법으로 자기회귀 누적 오차를 극복하고, 정지 이미지 생성용 확산 모델을 실시간 인터랙티브 엔진으로 끌어올린 점은 기술적으로 높이 평가할 만합니다.

가장 큰 위험 요소는 논리적 일관성의 부재입니다. 게임은 단순한 비주얼이 아니라 정확한 퀘스트 상태와 인벤토리, 물리 규칙으로 돌아갑니다. 기억력이 3초에 불과한 확률 모델로는 정교한 게임플레이를 지탱하기 어렵습니다.

그럼에도 이 연구는 업계에 거대한 화두를 던집니다. 논문 저자들의 말처럼 미래의 게임은 수백만 줄의 코드가 아니라 신경망 모델의 가중치로 구현될 수 있습니다. 복잡한 코딩 없이 컨셉 아트 몇 장과 텍스트 프롬프트만으로 상호작용 가능한 가상 세계를 실시간 연산해 내는 미래가 점차 가시화되고 있습니다.