OpenAI의 SWE-Bench Pro 감사: 코딩 평가 과제 30%에 결함 발견

시험 문제의 30%가 지문이 빠져 있거나 채점 기준이 엉터리라면, 그 시험에서 받은 80점을 그대로 믿을 수 있을까요?

OpenAI가 널리 쓰이는 코딩 벤치마크인 SWE-Bench Pro를 정밀 감사한 결과, 전체 731개 과제 중 약 30%에 심각한 결함이 있는 것으로 나타났습니다.

이에 따라 OpenAI는 업계에 SWE-Bench Pro 도입을 권장했던 기존 입장을 공식 철회하고, 모델 평가를 위해 특별히 설계된 새로운 벤치마크를 구축해야 한다고 촉구했습니다.

8개월 만에 80%로 뛴 점수, 알고 보니 출제 오류

당초 업계 표준이었던 SWE-bench Verified에 데이터 오염과 설계 결함이 발견되자, OpenAI는 더 현실적이고 호흡이 긴 코딩 과제를 다루는 SWE-Bench Pro로 전환할 것을 권장한 바 있습니다.

실제로 SWE-Bench Pro의 공개 731개 과제에서 프론티어 모델들의 통과율은 불과 8개월 만에 23.3%에서 80.3%로 폭등했습니다.

하지만 점수가 실제 역량을 반영하는지 검증하기 위해 OpenAI는 품질 검사 파이프라인을 가동했습니다. 자동 필터링을 통해 문제가 의심되는 286개 과제를 먼저 걸러냈습니다.

이후 Codex 기반 조사관 에이전트와 숙련된 소프트웨어 엔지니어 5명의 독립적인 교차 검증을 거쳤고, 최종적으로 200~249개(약 30%) 과제가 평가 도구로서 망가져 있다는 결론을 내렸습니다.

오픈소스 PR을 그대로 가져온 부작용 4가지

발견된 문제는 크게 네 가지 유형으로 나뉩니다.

첫째는 지나치게 엄격한 테스트입니다. 문제 설명에 명시되지 않은 세부 구현 방식까지 강제해, 기능적으로 완벽한 코드도 탈락 처리되었습니다.

둘째는 모호한 프롬프트입니다. 숨겨진 테스트가 요구하는 필수 조건이 프롬프트에서 누락되어 모델이 상식적으로 추론할 수 없었습니다.

셋째는 낮은 테스트 커버리지입니다. 검증이 허술해 결함이 남은 미완성 코드도 만점으로 통과하는 문제가 발생했습니다. 인간 검토자는 전체의 9.4%에서 이 문제를 발견했지만 에이전트는 4.1%만 잡아냈습니다.

넷째는 프롬프트의 오도입니다. 지문 자체가 모델을 엉뚱한 방향으로 유도하거나 실제 테스트 조건과 모순되었습니다.

OpenAI는 깃허브의 풀 리퀘스트(PR)가 본래 사람 간의 협업을 위해 만들어진 것이기 때문에, 특정 커밋에 맞춘 단위 테스트를 객관적인 AI 평가 잣대로 재활용하는 데는 근본적 한계가 있다고 짚었습니다.

왜 중요한가

코딩 모델을 도입하려는 개발자와 기업 입장에서, 이번 감사는 리더보드 점수의 환상을 깨는 결정적 계기입니다.

벤치마크 문제의 3분의 1이 왜곡된 상태라면, 통과율 80%라는 수치는 허술한 테스트를 운 좋게 넘겼거나 비합리적인 감점에 걸린 결과일 수 있습니다. 점수만 보고 모델을 골랐다가는 실무 환경에서 낭패를 보기 쉽습니다.

업계 전체로 보면, 깃허브 오픈소스를 긁어와 쉽게 평가셋을 만들던 시대가 끝났음을 보여줍니다. 프론티어 모델의 능력이 고도화된 만큼, 이제는 숙련된 엔지니어가 처음부터 모델 평가 목적으로 설계한 고품질 벤치마크가 필수적입니다.

자사 모델이 압도적인 성적을 내고 있는 벤치마크의 오류를 스스로 공개하고 철회한 OpenAI의 결정은 신뢰 확보 차원에서 현명해 보입니다. 다만 제대로 된 대체 평가 기준이 나오기 전까지는, 업계 전반에서 AI의 실제 코딩 능력을 객관적으로 검증하기가 훨씬 까다로워졌습니다.