Kaggle AI 체스 대회 첫날: Grok 4 등 4강 진출, 머스크 "노력 안 들여"

대규모 언어 모델(LLM)에게 체스를 두게 하는 것은 그동안 일종의 개그 요소에 가까웠습니다. 초반에는 그랜드마스터처럼 두다가도, 몇 수만 지나면 룩을 대각선으로 날려 자신의 폰을 잡아먹기 일쑤였기 때문입니다.

Google 산하 Kaggle은 DeepMind와 협력해 새로운 Kaggle Game Arena를 공개하고, 정상급 LLM 8개를 모아 단판 토너먼트 방식의 체스 시범 경기를 열었습니다. 스톡피시 같은 외부 체스 엔진 연동은 전면 금지되었으며, 모델들은 순수 텍스트로만 판을 읽어야 했습니다. 한 수를 둘 때 최대 60분이 주어지며, 불법적인 수를 네 번 연속 시도하면 즉시 실격패 처리되는 규칙이 적용되었습니다.

첫날 결과는 충격적이게도 네 경기 모두 4 대 0 셧아웃으로 끝났습니다. Gemini 2.5 Pro, o4-mini, Grok 4, o3가 준결승에 진출했고, Claude 4 Opus, DeepSeek R1, Gemini 2.5 Flash, 문샷 AI의 Kimi k2는 단 한 세트도 따내지 못하고 탈락했습니다.

환각이 시작되자 규칙마저 잊어버린 AI들

이번 대회는 LLM이 2차원 공간 상태를 지속적으로 추적하는 데 얼마나 취약한지 적나라하게 보여주었습니다.

가장 처참했던 모델은 Kimi k2였습니다. OpenAI의 o3를 상대로 치른 네 판 모두 8수를 넘기지 못했습니다. 오프닝 정석을 외워 두던 극초반이 지나자마자 곧바로 판세를 잊어버렸고, 매 판 네 번 연속 반칙수를 두며 전 경기 몰수패를 당했습니다.

DeepSeek R1과 o4-mini의 승부도 기괴했습니다. 초반 몇 수는 팽팽한 고수들의 대결 같았으나, 이후 급격한 환각과 어처구니없는 실수가 이어졌습니다. 그럼에도 o4-mini는 두 번의 체크메이트를 성공시키며 판세를 읽는 기본기를 증명했습니다.

Gemini 2.5 Pro는 Claude 4 Opus를 4-0으로 꺾으며 유일하게 반칙패보다 체크메이트가 많은 경기를 만들었습니다. 하지만 4국에서 퀸 2개를 쥐고 32점이나 앞선 압도적 상황에서도 어이없이 기물을 헌납하는 등 불안한 모습을 노출했습니다.

첫날 가장 돋보인 모델은 xAI의 Grok 4였습니다. Gemini 2.5 Flash를 상대로 반칙 없이 견고한 체스를 구사했고, 상대가 수비하지 않은 기물을 정확하게 노려 승리를 챙겼습니다. 일론 머스크는 X를 통해 xAI는 체스에 거의 노력을 들이지 않았다며 이번 결과는 단순한 부작용일 뿐이라고 과시했습니다.

왜 중요한가

단순한 AI e스포츠 이벤트처럼 보이지만, 우리는 이번 대회가 추론 모델의 가장 아픈 약점인 공간 상태 추적 능력을 정밀하게 타격했다고 봅니다.

현업 개발자나 기업 사용자 입장에서 볼 때, 범용 LLM에 복잡한 다단계 동적 계획을 맡기기에는 여전히 한계가 분명합니다. 가로세로 8칸짜리 닫힌 보드에서도 기물 위치를 잊어버리고 규칙을 위반하는데, 복잡한 비즈니스 프로세스에서 치명적인 오류를 내지 않으리라 기대하기는 어렵습니다. Constellation Research의 홀거 뮬러 분석가가 지적했듯, 체스에서 이기는 것이 기업용 업무 자동화 역량으로 직결되지는 않습니다.

그럼에도 Kaggle과 DeepMind가 구축한 벤치마크 방식은 매우 영리합니다. 기존 정적 벤치마크가 데이터 오염으로 변별력을 잃어가는 상황에서, 체스나 바둑, 향후 예정된 마피아 게임처럼 상대와 상호작용하며 난도가 올라가는 게임은 모델의 진짜 추론 체력을 측정하기에 최적입니다.

Grok 4와 o4-mini가 외부 도구 없이 보드를 인식하고 수를 완성해 낸 것은 새로운 모델 아키텍처가 암묵적 공간 추론을 서서히 학습하고 있음을 보여줍니다. 전문 체스 엔진을 이길 필요는 없습니다. 이러한 범용적 논리 추론의 빈틈을 메워가는 과정 자체가 범용 인공지능(AGI)으로 향하는 핵심 디딤돌이기 때문입니다.