슈퍼 마리오로 AI 벤치마크: Claude 3.7 1위, o1은 생각하느라 추락사

포켓몬 게임을 플레이하는 AI도 까다로운 벤치마크로 꼽혔지만, 캘리포니아 대학교 샌디에이고 캠퍼스 연구진은 슈퍼 마리오 브라더스가 훨씬 더 가혹한 시험대라고 판단했습니다.

UCSD의 Hao AI Lab 연구진은 주요 프론티어 AI 모델들을 실시간 슈퍼 마리오 브라더스 게임 환경에 투입했습니다. 그 결과 앤트로픽의 클로드 3.7이 가장 뛰어난 성적을 기록했고, 클로드 3.5가 뒤를 이었습니다. 반면 구글의 제미나이 1.5 프로와 오픈AI의 GPT-4o는 상당히 고전했습니다.

깊이 생각하다가 낭떠러지로 떨어진 AI

이번 실험은 오리지널 닌텐도 기기가 아니라 에뮬레이터 환경에서 진행됐으며, 연구진이 자체 개발한 프레임워크인 GamingAgent가 중간 다리 역할을 맡았습니다.

GamingAgent는 모델에게 장애물이나 적이 가까워지면 왼쪽으로 이동하거나 점프하라는 식의 기본 지침과 함께 실시간 게임 화면 캡처를 전달합니다. AI는 이를 해석해 마리오를 조작하는 파이썬 코드를 즉각 생성해야 합니다.

연구팀에 따르면 모델들은 복잡한 컨트롤을 기획하고 나름의 공략 전략을 학습해야만 스테이지를 진행할 수 있었습니다.

여기서 가장 흥미로운 반전이 일어났습니다. 단계별 추론 과정을 거치며 기존 벤치마크들을 휩쓸었던 오픈AI의 o1 같은 추론 전문 모델이 일반 비추론 모델보다 훨씬 저조한 성적을 냈기 때문입니다.

이유는 단순했습니다. o1이 결정을 내리는 데 몇 초의 시간이 걸렸기 때문입니다. 슈퍼 마리오에서는 타이밍이 생명인데, 몇 초 동안 생각을 멈추는 순간 마리오는 낭떠러지로 추락하거나 굼바에 부딪혀 목숨을 잃고 맙니다.

게임 클리어와 업계의 평가 위기

게임을 AI 성능 측정에 활용한 역사는 수십 년에 달하지만, 게임 실력을 실제 기술 발전과 직결짓는 것에 대한 회의론도 만만치 않습니다. 게임은 현실과 달리 단순하고 추상적이며, 이론상 무한한 훈련 데이터를 얻을 수 있는 통제된 환경이기 때문입니다.

오픈AI 창립 멤버인 안드레이 카파시는 X를 통해 최근의 화려한 게임 벤치마크들이 AI 업계의 심각한 평가 위기를 보여준다고 꼬집었습니다.

카파시는 지금 당장 어떤 지표를 봐야 할지 전혀 모르겠다며, 솔직히 이 모델들이 현재 얼마나 뛰어난 상태인지 파악하기 어렵다는 것이 자신의 반응이라고 밝혔습니다.

왜 중요한가

이번 실험은 단순한 게임 플레이 시연처럼 보이지만, 우리는 최근 대형 모델들이 집중하고 있는 느린 추론의 치명적인 한계를 정확히 짚어냈다고 봅니다.

최근 주요 AI 기업들은 생각 사슬을 늘려 수학이나 코딩 문제를 푸는 능력을 과시해 왔습니다. 하지만 로봇 제어나 실시간 대화형 에이전트처럼 즉각적인 피드백이 필수적인 환경에서는 3초의 생각 시간이 곧 실패를 뜻합니다. 개발자라면 작업의 성격이 지연 시간에 얼마나 민감한지에 따라 추론 모델을 배제해야 할 수도 있다는 점을 명확히 인식해야 합니다.

동시에 이번 테스트는 기존 벤치마크가 한계에 다다르며 평가 체계가 흔들리고 있음을 보여줍니다. 정적 벤치마크가 오염되자 연구진들이 다시 고전 게임으로 눈을 돌리고 있지만, 카파시의 지적처럼 게임 속 순발력이 복잡한 현실 세계 문제 해결로 이어질지는 미지수입니다.