오픈AI, 코딩 벤치마크 신뢰도 높인 'SWE-bench Verified' 공개
오픈AI가 원작자들과 협력해 신뢰성을 대폭 개선한 'SWE-bench Verified'를 공개했다. 전문 개발자 93명이 참여해 모호한 문제 설명과 부당한 테스트 케이스를 걷어내고 500개 샘플을 추려냈다. 소프트웨어 엔지니어링 에이전트의 역량을 한층 정확하게 측정할 수 있게 됐다.
오픈AI가 원작자들과 협력해 신뢰성을 대폭 개선한 'SWE-bench Verified'를 공개했다. 전문 개발자 93명이 참여해 모호한 문제 설명과 부당한 테스트 케이스를 걷어내고 500개 샘플을 추려냈다. 소프트웨어 엔지니어링 에이전트의 역량을 한층 정확하게 측정할 수 있게 됐다.