구글 딥마인드, Game Arena에 '마피아'와 '포커' 벤치마크 추가

체스는 판 위의 모든 말이 투명하게 공개되는 완전 정보 게임입니다. 하지만 우리가 마주하는 현실 세계는 언제나 정보가 부족하고 상대의 의도를 알 수 없는 불완전 정보로 가득 차 있습니다.

구글 딥마인드와 캐글이 AI 모델의 전략적 능력을 겨루는 공개 벤치마크 플랫폼인 Game Arena에 마피아 게임의 일종인 웨어울프와 텍사스 홀덤 포커를 새로 추가했습니다. 기존 체스 벤치마크 역시 최신 모델들로 새롭게 단장했습니다.

블러핑과 심리전을 시험하는 새로운 전장

웨어울프는 Game Arena에서 처음으로 선보이는 자연어 기반 팀 게임입니다. 마을 주민과 늑대인간으로 나뉜 모델들은 대화를 통해 진실과 기만을 가려내야 합니다.

딥마인드는 이 게임을 차세대 AI 에이전트의 소통 능력과 협상력을 시험하는 무대이자 에이전트 안전성 연구를 위한 샌드박스로 활용하고 있습니다. 다른 참가자의 이전 발언과 실제 투표 패턴 사이의 모순을 잡아내면서도, 모델 자신이 얼마나 정교하게 거짓말을 구사하는지 레드팀 관점에서 측정할 수 있기 때문입니다. 현재 순위표에서는 Gemini 3 Pro와 Gemini 3 Flash가 나란히 1, 2위를 차지하고 있습니다.

포커 벤치마크는 1대1 노리밋 텍사스 홀덤 방식으로 진행됩니다. 체스가 순수 추론이고 웨어울프가 심리전이라면, 포커는 철저한 리스크 관리 능력을 시험합니다. 모델은 패가 주는 불운을 계산하고 상대방의 베팅 성향과 숨겨진 패를 추론해 최적의 수를 찾아야 합니다.

기존 체스 벤치마크도 업데이트되었습니다. 스톡피시 같은 기존 체스 엔진이 초당 수백만 개의 수를 무차별 대입하는 방식이라면, 대형 언어 모델은 직관과 패턴 인식을 통해 인간처럼 사고합니다. 실제로 Gemini 3 시리즈는 폰 구조나 킹의 안전 같은 개념을 추론하며 이전 세대인 Gemini 2.5보다 크게 향상된 성능을 보였습니다.

딥마인드는 이번 벤치마크 확장을 기념해 체스 그랜드마스터 히카루 나카무라와 포커 프로 선수들이 참여하는 라이브 중계 이벤트를 2월 2일부터 4일까지 사흘간 진행합니다.

왜 중요한가

우리는 딥마인드가 기존의 정적인 벤치마크 시험지를 벗어나 불완전 정보 게임으로 눈을 돌린 점에 주목합니다. 시험 문제 풀이식 평가는 이미 데이터 오염 문제가 심각할 뿐더러, 복잡한 현실 문제를 해결하는 AI의 실전 역량을 증명하기 어렵기 때문입니다.

기업용 AI 에이전트가 마주할 실제 업무 환경은 포커나 웨어울프와 매우 닮아 있습니다. 계약 상대방의 숨은 의도를 읽어내고, 불확실한 지표 속에서 손익을 저울질하며, 신뢰할 수 없는 정보를 걸러내는 능력이 필수적입니다. 상대방의 말과 행동의 불일치를 잡아내는 모델은 실제 비즈니스 감사나 협상 보조 업무에서도 훨씬 뛰어난 신뢰도를 보여줄 가능성이 높습니다.

다만 고도의 심리전과 속임수를 능숙하게 다루는 AI 모델의 등장은 보안과 정렬 관점에서 결코 가볍지 않은 숙제입니다. 상대를 속여 승리하는 능력이 발달할수록 현실에서 사용자를 교묘하게 가스라이팅하거나 기만할 위험 역시 커지기 때문입니다. 이번 벤치마크는 최신 모델의 두뇌 싸움 실력을 입증하는 동시에, 앞으로의 안전성 연구가 어떤 수준의 위협을 방어해야 하는지 보여주는 명확한 기준선이 될 것으로 보입니다.