오픈AI, 코딩 벤치마크 'SWE-bench Verified' 중단…"오염 심각"

AI 코딩 성능을 측정하는 대표적인 표준 벤치마크가 신뢰도를 잃고 공식 퇴장 수순을 밟게 되었습니다.

OpenAI는 자사 모델의 코딩 능력을 측정할 때 SWE-bench Verified 점수를 더 이상 발표하지 않겠다고 선언했습니다. 다른 AI 연구 기관과 기업들에도 이 벤치마크 사용을 중단하고 SWE-bench Pro로 전환할 것을 권고했습니다. 평가 문제 자체의 결함으로 올바른 정답이 오답 처리되는 데다, 주요 프론티어 모델들이 이미 문제의 정답을 통째로 암기하고 있다는 사실이 드러났기 때문입니다.

SWE-bench Verified는 2024년 8월 출시된 이후 실제 소프트웨어 개발 능력을 평가하는 가장 중요한 지표로 자리 잡았습니다. 그러나 지난 6개월간 최고 성능 모델들의 점수는 74.9%에서 80.9%로 오르는 데 그쳤습니다. 이에 OpenAI가 실패 사례를 분석한 결과, 정체의 원인이 모델의 한계가 아닌 벤치마크 데이터셋 자체에 있음을 확인했습니다.

10개 중 6개는 문제 자체가 결함

OpenAI는 추론 모델 o3가 64회 반복 실행 동안 안정적으로 풀지 못한 138개 문제를 정밀 검수했습니다. 데이터셋 전체의 27.6%에 달하는 규모입니다. 전문 소프트웨어 엔지니어들이 교차 검증한 결과, 검수 대상의 59.4%에서 심각한 설계 결함이 발견되었습니다.

가장 흔한 문제는 테스트 케이스가 지나치게 협소한 경우로, 전체의 35.5%를 차지했습니다. 예를 들어 pylint 관련 과제에서는 원본 PR 작성자가 임의로 만든 함수를 테스트 코드가 강제로 임포트하고 있었습니다. 문제 설명에는 이 함수 이름이 전혀 언급되지 않아, 기능을 완벽하게 구현한 코드라도 함수 이름이 다르면 임포트 오류로 무조건 탈락했습니다.

테스트 범위가 지나치게 넓은 문제도 18.8%에 달했습니다. sympy 과제의 경우 원본 PR이 3개의 이슈를 동시에 수정한 코드였는데, 벤치마크 문제 설명에는 1개 이슈만 적혀 있었습니다. AI가 설명대로 정확히 고쳐도 언급되지 않은 나머지 2개 테스트를 통과하지 못해 실패 처리된 것입니다.

코드 주석까지 그대로 외워버린 AI 모델들

더 치명적인 문제는 학습 데이터 오염이었습니다. 벤치마크가 유명 오픈소스 프로젝트 기반이다 보니, 대규모 언어 모델들이 사전 학습 과정에서 이미 문제와 정답 코드를 학습해 버린 것입니다.

OpenAI가 레드팀 분석을 진행한 결과, 자사의 GPT-5.2뿐만 아니라 Claude Opus 4.5, Gemini 3 Flash Preview 등 테스트한 모든 최신 모델이 인간 개발자가 작성했던 정답 코드를 그대로 외우고 있었습니다.

Claude Opus 4.5는 4줄짜리 코드 변경 사항은 물론 원본 커밋에 있던 코드 주석까지 한 글자도 틀리지 않고 출력했습니다. Gemini 3 Flash는 문제 번호만 주어져도 정규표현식과 정답 코드를 읊었습니다. 사실상 문제 해결 능력을 겨루는 시험이 아니라 훈련 데이터 암기력 대결로 전락한 셈입니다. OpenAI는 오염 없는 새로운 평가 도구를 개발 중이며, 당분간은 SWE-bench Pro를 사용할 것을 권장했습니다.

왜 중요한가

AI를 실무에 도입하려는 개발자들에게 이번 발표는 벤치마크 점수에 현혹되지 말아야 한다는 명확한 경고입니다. 공개 벤치마크에서 80% 이상의 정답률을 기록했다고 홍보해도, 실상은 오픈소스 커밋 기록을 외워서 맞힌 결과일 수 있습니다. 당연히 기업 내부의 비공개 코드베이스에서는 기대했던 성능이 나오지 않을 가능성이 큽니다.

AI 산업 전체로 보면, 모델의 자율 코딩 능력을 객관적으로 검증할 나침반이 고장 났음을 공식화한 사건입니다. 공개 데이터셋이 모델 학습 데이터로 흡수되는 속도가 빨라지면서, 겉보기 점수만 오르는 인플레이션이 심각해졌습니다.

OpenAI가 자신들이 주도해 만든 벤치마크를 스스로 폐기하자고 나선 것은 솔직하면서도 전략적인 판단으로 보입니다. 한계에 부딪힌 공개 벤치마크에서 경쟁사들의 점수 마케팅을 무력화하는 동시에, 차세대 평가 표준의 주도권을 다시 쥐려는 의도가 엿보입니다. 앞으로의 코딩 AI 경쟁은 오염되지 않은 비공개 평가 환경을 누가 먼저 구축하느냐로 옮겨갈 전망입니다.