구글 딥마인드, 3D 가상 세계용 AI 에이전트 'SIMA 2' 공개

비디오 게임에서 AI 동료와 팀을 짤 때, 조금만 복잡한 명령을 내려도 벽에 걸려 버벅대는 모습에 답답했던 적이 있을 것입니다. Google DeepMind가 선보인 새 모델은 단순한 스크립트 NPC 수준을 한참 뛰어넘었습니다.

DeepMind는 3D 가상 세계를 위한 범용 AI 에이전트의 차세대 버전인 SIMA 2를 연구 프리뷰로 공개했습니다. 화면을 보고 키보드와 마우스로 조작하던 1세대와 달리, 이번에는 두뇌 역할을 하는 코어에 Gemini 2.5 Flash-lite 모델을 직접 탑재했습니다. 단순히 시키는 행동만 따라 하는 수준을 넘어, 이제는 스스로 목표를 추구하며 이용자에게 계획을 설명하고 스스로 실력을 키웁니다.

이모티콘만 줘도 벌목하고, 낯선 게임에서도 채굴

초대 SIMA는 사다리 오르기나 지도 열기 등 600여 개의 기본 동작을 학습했지만, 복잡한 연속 과제의 성공률은 31%에 불과해 인간의 71%에 크게 못 미쳤습니다. TechCrunch에 따르면 Gemini가 결합된 SIMA 2는 복잡한 작업 수행 성능을 전작 대비 두 배 수준으로 끌어올렸습니다.

추론 능력이 붙으면서 지시를 받아들이는 방식도 훨씬 유연해졌습니다. 가령 잘 익은 토마토 색깔의 집으로 가라는 명령을 받으면, 잘 익은 토마토는 빨간색이니 빨간 집을 찾아가야겠다고 내부적으로 추론한 뒤 목표를 향해 이동합니다. DeepMind 연구진은 도끼와 나무 이모티콘만 입력해도 에이전트가 의도를 알아채고 나무를 베러 간다고 설명했습니다.

기존에 배운 개념을 다른 환경으로 전이하는 능력도 눈에 띕니다. 한 번도 학습하지 않은 바이킹 생존 게임 ASKA나 마인크래프트 기반 환경에 들어가도, 다른 게임에서 익힌 채굴의 개념을 지금 환경의 채집 행동에 그대로 응용합니다. 심지어 텍스트나 이미지 한 장으로 실시간 3D 가상 세계를 만드는 Genie 3 모델과 결합해 완전히 새로 생성된 맵에 떨어뜨려도, 벤치와 나무, 나비를 능숙하게 식별하고 상호작용했습니다.

인간 데이터 없이 두 AI가 주도하는 자기 개선

학습 방식의 변화도 큽니다. 초대 버전은 수백 시간 분량의 인간 플레이 영상에 전적으로 의존했지만, SIMA 2에서 인간 데이터는 초기 출발선 역할만 합니다.

새로운 게임 환경에 투입되면 또 다른 Gemini 모델이 과제를 만들고, 별도의 보상 모델이 점수를 매깁니다. SIMA 2는 AI의 피드백을 받으며 시행착오를 거듭하고, 이렇게 축적된 자체 경험 데이터를 다음 버전 학습에 재활용합니다. 인간의 개입을 최소화한 채 스스로 실력을 높이는 강화학습의 선순환을 구축한 셈입니다.

물론 한계도 명확합니다. DeepMind는 낮은 반응 지연 시간을 유지하기 위해 컨텍스트 윈도를 제한했기 때문에 기억 유지 시간이 짧고, 아주 긴 호흡의 다단계 과제에서는 여전히 실수를 보인다고 밝혔습니다. 현재는 일부 학계 연구자와 게임 개발사 파트너에게만 제한적으로 접근이 열려 있습니다.

왜 중요한가

우리는 DeepMind가 겉으로는 게임 에이전트를 시연하고 있지만, 실제로는 미래 로봇과 범용 인공지능(AGI)의 핵심 두뇌를 훈련시키고 있다고 봅니다.

물리적인 휴머노이드 로봇을 만들 때 관절을 움직이는 제어 기술보다 훨씬 어려운 것은, 시각 환경을 이해하고 애매한 인간의 명령을 쪼개어 행동으로 옮기는 상식적 추론 능력입니다. 실제 세상에서 로봇을 훈련시키는 것은 비용이 엄청나고 하드웨어가 파손될 위험도 큽니다.

DeepMind의 영리한 점은 상용 3D 게임과 실시간 생성 공간을 위험 없는 거대한 시뮬레이션 훈련장으로 삼았다는 것입니다. 게임 내부 코드를 건드리지 않고 순수하게 화면 픽셀과 키보드 마우스 인터페이스만으로 상호작용하기 때문에, 현실 세계의 로봇 카메라와 조작부로 전이하기에도 적합합니다.

게임 산업 입장에서도 정해진 대사만 읊는 뻔한 NPC 대신, 사람처럼 말귀를 알아듣고 공략을 함께 고민하는 동료 캐릭터의 등장을 기대해 볼 수 있습니다. 다만 실시간 대형 모델 추론 비용을 고려하면 일반 게이머가 당장 즐길 수 있는 단계는 아니며, 현재로서는 텍스트 창에 갇혀 있던 LLM이 가상 육체를 입고 행동하기 시작했다는 기술적 도약에 더 큰 의미가 있습니다.