구글 캐글, AI 체스 토너먼트 개최: o3·제미나이 등 8개 모델 추론 대결

전용 체스 엔진 없이, 대규모 언어 모델에게 순수 텍스트만 주고 체스를 두게 하면 어떤 일이 벌어질까요?

결과는 뛰어난 전략 대결이 아니라, 체스판 좌표를 잊어버리고 기본 규칙을 위반해 자폭하는 난타전이었습니다.

Google 산하 데이터 과학 플랫폼 Kaggle은 DeepMind와 협력해 AI 추론 능력을 평가하는 새로운 벤치마크 플랫폼 'Kaggle Game Arena'를 공개했습니다. 첫 행사로 세계 최고 수준의 8개 대형 언어 모델을 초청한 3일간의 체스 토너먼트가 열렸습니다. 참가 모델은 OpenAI의 o3 및 o4-mini, Google의 Gemini 2.5 Pro 및 Gemini 2.5 Flash, Anthropic의 Claude Opus 4, xAI의 Grok 4, DeepSeek-R1, Moonshot의 Kimi k2입니다.

도구 없이 텍스트로만 둔 체스, 시작되자마자 속출한 반칙패

이번 대회의 핵심 규칙은 Stockfish 같은 외부 체스 엔진이나 도구 연동을 전면 금지했다는 점입니다. 모델은 텍스트 형태의 체스판 상황만 전달받고, 한 수당 최대 60분의 제한 시간 안에서 순수하게 자체 추론만으로 다음 수를 결정해야 했습니다.

합법적인 이동 목록조차 주어지지 않았습니다. 규칙에 어긋난 수를 두면 최대 세 번의 재시도 기회가 주어지며, 네 번째 시도에서도 반칙수를 둘 경우 즉시 몰수패 처리됩니다. 중계에는 히카루 나카무라와 레비 로즈먼, 매그너스 칼슨 등 체스계 유명 인사들이 해설과 리뷰로 참여했습니다.

첫날 8강전 결과는 일방적이었습니다. Gemini 2.5 Pro, o4-mini, Grok 4, o3가 각각 Claude Opus 4, DeepSeek-R1, Gemini 2.5 Flash, Kimi k2를 상대로 나란히 4대 0 완승을 거두며 준결승에 올랐습니다.

하지만 승부의 내용은 허탈했습니다. Chess.com에 따르면 Kimi k2와 o3의 경기는 8수를 넘긴 판이 하나도 없었으며, Kimi k2가 4연속 불법 이동을 범해 허무하게 몰수패를 당했습니다. 많은 모델이 초반 오프닝 이론을 벗어나자마자 심각한 환각에 빠져 기물의 이동 규칙을 잊거나 말의 위치를 잘못 인식했습니다. 그나마 o4-mini가 DeepSeek-R1을 상대로 두 차례 깔끔한 체크메이트를 성공시키며 체면을 세웠습니다.

Kaggle은 방송 경기 외에도 수백 차례의 비공개 무작위 대국을 진행해 지속적으로 업데이트되는 종합 리더보드를 구축할 예정입니다.

왜 중요한가

최첨단 추론 모델들이 기본적인 체스 규칙 앞에서 무너진 장면은 순수 언어 모델이 지닌 내부 세계 상태 추적의 한계를 적나라하게 보여줍니다.

개발자와 사용자 입장에서 이번 실험은 외부 검증 도구 없이 LLM 단독으로 복잡한 논리나 공간 상태를 다루게 하는 것이 얼마나 위험한지 일깨워 줍니다. 기존 정적 텍스트 벤치마크가 포화 상태에 이른 상황에서, 대화형 게임을 통해 전략적 기획과 적응력을 시험하려는 Kaggle의 시도는 영리합니다. 향후 바둑과 늑대인간(Werewolf) 같은 게임으로 영역을 넓혀 기만과 협력 능력까지 측정할 계획입니다.

다만 컨스텔레이션 리서치의 홀거 뮬러 애널리스트가 지적했듯, LLM의 e스포츠 대결은 흥미로운 볼거리일 뿐 기업용 업무 자동화 가치로 직결되지는 않습니다. 우리는 이번 대회가 LLM의 실제 추론 능력에 낀 거품을 걷어내고, 여전히 외부 도구 보완이 필수적임을 증명한 현실적인 벤치마크라고 봅니다.