OpenAI의 SWE-Bench Pro 감사: 코딩 평가 과제 30%에 결함 발견
OpenAI는 널리 쓰이는 코딩 벤치마크 SWE-Bench Pro의 과제 중 약 30%에 결함이 있다는 감사 결과를 발표했다. 지나치게 엄격한 테스트와 모호한 프롬프트가 문제로 지목됐으며, OpenAI는 해당 벤치마크 추천을 철회하고 새로운 평가 체계 개발을 촉구했다.
SWE-Bench Pro
오픈AI, 코딩 벤치마크 'SWE-bench Verified' 중단…"오염 심각"
오픈AI는 최첨단 코딩 모델 평가에서 'SWE-bench Verified' 성적 보고를 중단한다고 밝혔다. 오픈AI o3가 해결하지 못한 문제 중 59.4%에서 정답을 오답 처리하는 결함이 확인됐으며, 모델들이 학습 데이터를 암기한 정황도 드러났다. 오픈AI는 대안으로 SWE-bench Pro 활용을 권장했다.