UC버클리 가혹한 새 AI 벤치마크 공개: GPT-5.5, 클로드 페이블 5 꺾고 1위

코딩 테스트에서 높은 점수를 자랑하던 AI 모델들도 실제 업무용 소프트웨어를 다루게 하면 금세 밑천을 드러내곤 합니다.

UC 버클리 책임·탈중앙화 인텔리전스 센터(RDI) 연구진은 300명 이상의 현업 전문가와 함께 새로운 에이전트 벤치마크인 'Agents' Last Exam(ALE)'을 공개했습니다. 55개 비물리 산업 분야에서 경제적 가치가 있는 실제 장기 전문 업무를 AI가 완수할 수 있는지 측정하는 혹독한 평가 도구입니다.

첫 평가부터 이변이 발생했습니다. 지난 4월 공개된 OpenAI의 GPT-5.5(Codex harness 기반)가 통과율 24.0%로 1위를 차지했습니다. 반면 어제 발표된 Anthropic의 기대를 모았던 신형 Mythos급 모델 Claude Fable 5는 22.0%로 3위에 머물렀습니다.

꼼수 차단하고 실제 업무 프로그램 다루게 해

기존 SWE-Bench Pro 같은 벤치마크는 채점 오류가 잦았고, 과거 Claude Opus 계열 모델이 컨테이너의 Git 커밋 기록에서 숨겨진 정답을 찾아내 푸는 등 부정행위 논란이 있었습니다.

ALE는 범용 컴퓨터 사용 에이전트(GCUA) 프레임워크를 도입해 이런 편법을 차단했습니다. 두뇌(추론), 눈(시각), 몸(오케스트레이션), 손(도구 호출), 발(런타임)의 5개 계층으로 역량을 나누고, 에이전트가 가상머신 안에서 시각 인식을 활용해 실제 데스크톱 프로그램을 조작하도록 강제합니다.

미국 연방 직업 분류 체계(O*NET)를 바탕으로 구축된 1,490개 과제는 Siemens NX를 활용한 3D 모델링, Unreal Engine 장면 구성, FSLeyes를 통한 뇌 영상 분석, Adobe After Effects 영상 합성 등 실제 전문가들의 작업 기록에서 가져왔습니다.

채점 방식도 달라졌습니다. 신뢰성이 떨어지는 '판사로서의 LLM' 방식은 전체 워크플로의 6.8%에만 적용했고, 나머지는 전문가의 기준 결과물과 코드로 대조하는 확정적 채점을 도입했습니다. 또한 문제 유출을 막기 위해 10% 정도만 공개하고 1,300개 이상의 과제는 비공개로 유지하며 주기적으로 교체하는 롤링 방식을 씁니다.

최고 난도에서는 주요 모델 전부 0% 기록

GPT-5.5가 1위에 오르긴 했지만 통과율 24.0%는 사실상 낙제점에 가깝습니다.

업계 분석에 따르면 OpenAI 모델은 여러 단계로 구성된 복잡한 지시문을 끝까지 따르는 능력이 상대적으로 뛰어납니다. 반면 Claude 아키텍처는 긴 워크플로 중간에 요구사항을 빠뜨리는 경향이 있어 감점을 피하지 못했습니다.

특히 가장 어려운 'Last-Exam' 난도에서는 Anthropic의 기존 Claude Opus 4.8과 Google의 Gemini CLI를 포함한 대부분의 구성이 통과율 0.0%를 기록했습니다. 고난도 전문 영역에서는 현존 최상위 AI도 손을 대지 못한다는 뜻입니다.

왜 중요한가

전문 업무에 AI 에이전트를 도입하려던 기업과 개발자에게 이 결과는 분명한 경고를 던집니다. 전문 툴을 활용하는 복잡한 작업을 AI가 알아서 끝내줄 것이라는 기대는 현재로선 허상에 가깝습니다. 지금 단계에서는 완전 자율화가 아니라 사람의 검토가 필연적입니다.

산업 측면에서는 AI 평가의 중심축이 단순 텍스트 터미널 코딩에서 실제 데스크톱 환경의 장기 프로세스 수행 능력으로 이동하게 되었습니다. OpenAI의 기존 모델이 Anthropic의 신형 플래그십을 꺾은 사례는, 에이전트 경쟁에서 단편적인 추론력보다 긴 호흡의 지시 준수 역량이 더 중요하다는 점을 보여줍니다.

우리는 ALE가 평가 데이터의 90%를 숨기고 주관적인 AI 채점을 배제한 점을 높게 평가합니다. 벤치마크 오염과 꼼수를 원천 차단함으로써, 마케팅 문구 뒤에 가려져 있던 AI 에이전트의 차가운 현실을 정확히 짚어냈기 때문입니다.