OpenAI, 두 가지 API 설정으로 GPT-5.6 Sol의 ARC-AGI-3 점수 3배 향상

미해결 수학 난제를 풀고 포켓몬스터 파이어레드를 클리어하던 모델이 단순한 2D 퍼즐 게임에서 8%도 안 되는 점수를 받았습니다. 최근 OpenAI도 ARC-AGI-3 벤치마크에서 나온 GPT-5.6 Sol의 처참한 성적표를 보고 당혹감을 감추지 못했습니다.

ARC-AGI-3는 사전 설명이나 룰북 없이 낯선 2D 게임을 탐색하며 작동 원리를 추론하는 AGI 측정용 벤치마크입니다. 인간의 평균 점수는 48%에 달하지만, GPT-5.5는 0.4%로 거의 멈춰 있었고 GPT-5.6 Sol 역시 초기 측정에서 7.8%에 머물렀습니다.

하지만 원인을 파헤쳐 본 결과, 문제는 모델의 두뇌가 아니라 테스트 환경이 만들어낸 일종의 단기 기억상실증이었습니다.

한 수 둘 때마다 연습장을 찢어버린 테스트 환경

ARC-AGI-3 공식 하네스는 공정한 비교를 위해 특수 도구 없이 지극히 단순한 범용 환경을 유지했습니다. 그러나 이 단순함이 치명적인 결함으로 작용했습니다.

첫째로, 모델이 게임 내에서 한 번 행동할 때마다 내부 추론 메시지가 전부 폐기되었습니다. 이전 행동 기록은 볼 수 있었지만, 자신이 왜 그런 결정을 내렸는지에 대한 계획과 통찰이 매 턴 지워진 것입니다. 모델은 매 턴 게임을 처음부터 다시 분석해야 했습니다.

둘째로, 대화 길이가 17만 5천 자를 넘어가면 가장 오래된 기록을 순차적으로 잘라내는 롤링 트렁케이션 방식을 썼습니다. 생각의 흐름을 잃어버린 데다, 초반에 시도했던 행동 기록까지 함께 사라졌습니다.

OpenAI는 이를 해결하기 위해 실제 ChatGPT와 Codex 서비스에 적용 중인 Responses API 환경으로 하네스를 교체했습니다. 이전 응답 ID를 연결해 추론 기록을 유지하고, 단순 삭제 대신 컨텍스트를 요약해 압축하는 설정을 켰습니다.

결과는 놀라웠습니다. 공개 태스크에서 GPT-5.6 Sol의 점수는 13.3%에서 38.3%로 단숨에 3배 가까이 치솟으며 인간 평균치인 48%에 바짝 다가섰습니다. 매 턴 처음부터 고민할 필요가 없어지면서 출력 토큰 소모량도 6분의 1로 급감했습니다.

왜 중요한가

이번 발표는 벤치마크 점수 자랑을 넘어, AI 에이전트를 실제로 구축할 때 컨텍스트 관리가 얼마나 결정적인지 보여줍니다.

복잡한 다단계 에이전트를 개발하는 엔지니어라면 당장 주목해야 할 결과입니다. 비용을 아끼겠다고 내부 추론 과정을 지우거나 오래된 로그를 단순 슬라이딩 윈도우로 잘라내면, 모델이 헛돌면서 오히려 6배 많은 토큰을 낭비하게 됩니다. OpenAI의 권고대로 레거시 Chat Completions API를 버리고, 추론 유지와 압축을 지원하는 Responses API 기반으로 파이프라인을 재설계할 가치가 분명합니다.

업계 전반의 벤치마크 관행에도 시사하는 바가 큽니다. 평가 기관들은 공정성을 위해 일률적인 범용 환경을 선호하지만, 현대의 추론형 모델들은 메모리 관리 아키텍처와 분리해서 평가하기 어렵습니다. 인프라 지원이 배제된 상태에서 측정된 벤치마크는 실제 프로덕션 환경의 성능을 대변하지 못한다는 뜻입니다.

다만 이는 반대로 프론티어 모델의 성능이 자사 전용 API 생태계에 강하게 종속되고 있음을 뜻하기도 합니다. 모델의 진짜 지능을 온전히 쓰려면 결국 공급자가 제공하는 최적화 규격을 그대로 따라야 한다는 한계도 엿보입니다.