OpenAI의 SWE-Bench Pro 감사: 코딩 평가 과제 30%에 결함 발견
OpenAI는 널리 쓰이는 코딩 벤치마크 SWE-Bench Pro의 과제 중 약 30%에 결함이 있다는 감사 결과를 발표했다. 지나치게 엄격한 테스트와 모호한 프롬프트가 문제로 지목됐으며, OpenAI는 해당 벤치마크 추천을 철회하고 새로운 평가 체계 개발을 촉구했다.
SWE-bench Verified
오픈AI, 코딩 벤치마크 'SWE-bench Verified' 중단…"오염 심각"
오픈AI는 최첨단 코딩 모델 평가에서 'SWE-bench Verified' 성적 보고를 중단한다고 밝혔다. 오픈AI o3가 해결하지 못한 문제 중 59.4%에서 정답을 오답 처리하는 결함이 확인됐으며, 모델들이 학습 데이터를 암기한 정황도 드러났다. 오픈AI는 대안으로 SWE-bench Pro 활용을 권장했다.
오픈AI, 코딩 벤치마크 신뢰도 높인 'SWE-bench Verified' 공개
오픈AI가 원작자들과 협력해 신뢰성을 대폭 개선한 'SWE-bench Verified'를 공개했다. 전문 개발자 93명이 참여해 모호한 문제 설명과 부당한 테스트 케이스를 걷어내고 500개 샘플을 추려냈다. 소프트웨어 엔지니어링 에이전트의 역량을 한층 정확하게 측정할 수 있게 됐다.