구글 딥마인드, 말귀 알아듣고 3D 게임 플레이하는 범용 AI ‘SIMA’ 공개

그동안 게임 AI라고 하면 체스나 바둑에서 사람을 이기거나, 스타크래프트 2에서 초인적인 반응 속도로 프로게이머를 꺾는 모습이 전부였습니다. 하지만 이런 AI는 규칙이 조금만 바뀌어도 아무것도 하지 못하는 점수 자판기에 불과했습니다.

구글 딥마인드가 3월 13일 공개한 새로운 연구는 완전히 다른 방향을 가리킵니다. 다양한 3D 가상 환경에서 사람의 자연어 명령을 듣고 행동하는 범용 에이전트 SIMA(Scalable Instructable Multiworld Agent)를 발표했습니다. 목표는 높은 점수를 내는 것이 아니라, 사람의 지시를 이해하고 함께 게임을 플레이하는 파트너가 되는 것입니다.

화면을 보고 키보드와 마우스를 누른다

SIMA의 가장 흥미로운 점은 인터페이스입니다. 게임 개발사의 내부 소스 코드에 접근하지도 않고, 별도로 맞춤 제작된 전용 API를 쓰지도 않습니다.

SIMA가 받아들이는 입력은 사람이 모니터로 보는 화면 이미지와 사용자가 내리는 간단한 자연어 지시 두 가지뿐입니다. 조작 역시 사람처럼 키보드와 마우스 신호를 가상 캐릭터에 직접 전달합니다.

딥마인드는 이를 위해 8개 게임 개발사와 손을 잡았습니다. 헬로 게임즈의 노 맨즈 스카이, 턱시도 랩스의 티어다운, 커피 스테인의 발하임과 염소 시뮬레이터 3 등 9개 상용 3D 게임을 훈련에 투입했습니다.

또한 유니티로 직접 만든 컨스트럭션 랩을 포함한 4개의 연구용 환경에서도 테스트를 거쳤습니다. 이곳에서 블록으로 구조물을 만들게 하며 물리 법칙과 공간 감각을 훈련시켰습니다.

현재 버전의 SIMA는 약 600개의 기본 기술을 수행할 수 있습니다. 사다리 오르기, 지도 열기, 좌회전하기처럼 약 10초 이내에 끝낼 수 있는 짧고 직관적인 작업들입니다.

한 게임만 판 AI보다 여러 게임을 배운 AI가 더 똑똑했다

이번 연구에서 가장 중요한 발견은 범용 모델이 특화 모델을 압도했다는 점입니다.

9개 게임 전체에서 훈련받은 SIMA는 단일 게임 하나만 집중적으로 학습한 전문 에이전트보다 훨씬 뛰어난 성능을 보였습니다.

더 놀라운 것은 한 번도 본 적 없는 새로운 게임에 투입했을 때의 반응입니다. 다른 게임들로 다져진 SIMA는 처음 접한 게임에서도 해당 게임만을 위해 따로 학습된 전용 모델에 근접하는 실력을 발휘했습니다. 3D 환경에서 행동하는 일반적인 규칙을 스스로 터득했다는 의미입니다.

언어 명령이 행동을 이끄는 핵심이라는 사실도 확인됐습니다. 텍스트 명령을 주지 않는 대조군 실험에서 SIMA는 목적 없이 자원을 채취하는 등 주변을 배회할 뿐 지시된 목표를 향해 나아가지 못했습니다.

왜 중요한가

거대언어모델은 온갖 지식을 쏟아내고 계획을 세우는 데 능숙하지만, 화면 밖에서 사람을 대신해 무언가를 실행하는 손발은 없었습니다.

SIMA는 언어 모델의 지능을 3D 가상 세계 속 실제 물리적 행동으로 연결해 낸 구체적인 사례입니다. 현실의 로봇을 훈련시키는 것은 비용과 파손 위험이 크지만, 실시간 반응이 일어나는 비디오 게임은 신체화 지능을 키우기에 가장 완벽하고 안전한 실험실입니다.

게임의 전용 API를 파고드는 대신 모니터 화면과 키보드 마우스라는 인간 고유의 인터페이스를 그대로 채택한 전략은 매우 영리합니다. 이론적으로 세상에 존재하는 거의 모든 3D PC 게임에 별도 개조 없이 즉시 적용할 수 있기 때문입니다.

일반 게이머 입장에서는 단순히 정해진 대사만 읊는 NPC가 아니라, "저기 가서 광물 좀 캐와"라고 말하면 알아듣고 짐을 날라주는 진짜 협동 플레이 파트너의 등장을 기대해 볼 만합니다.

다만 10초 안팎의 단순 행동을 넘어 "재료를 모아 야영지를 건설하라" 같은 장기적이고 복합적인 목표를 스스로 쪼개서 수행할 수 있을지는 여전히 큰 과제입니다. 단기 반응형 조작을 넘어 고차원적 전략 추론으로 확장될 수 있는지 지켜볼 필요가 있습니다.