데이터커브, 코딩 에이전트 격차 드러내는 벤치마크 DeepSWE 공개

AI로 코딩을 해본 개발자라면 공개 리더보드 점수는 비슷한데 실제 업무에 투입했을 때의 체감 성능은 완전히 딴판인 상황을 자주 겪어보셨을 겁니다.

Datacurve가 이러한 문제를 해결하기 위해 에이전트 코딩 모델을 평가하는 새로운 벤치마크인 DeepSWE를 공개했습니다.

실제 개발 업무에서 갈리는 격차를 측정한다

기존의 공개 리더보드에서는 상위권 모델들의 역량이 거의 대등해 보이는 경우가 많습니다. Datacurve는 DeepSWE가 개발자들의 일상적인 실제 개발 경험을 반영하여, 현업 조건에서 모델들이 실제로 어디서 성능 차이를 드러내는지 보여주는 것을 목표로 설계되었다고 밝혔습니다.

왜 중요한가

현재의 코딩 벤치마크는 점수 포화 상태에 이르러, 벤치마크 점수와 실제 프로젝트에서의 생산성이 일치하지 않는 문제가 심화되고 있습니다.

우리는 DeepSWE가 단순한 시험용 점수 경쟁 대신 실제 엔지니어링 환경의 체감을 반영하려 한다는 점에서 올바른 방향을 잡았다고 봅니다. 개발자에게는 실제 프로덕션에 도입할 모델을 고르는 현실적인 기준이 될 수 있으며, 모델 개발사들 역시 박제된 평가 지표 맞춤형 튜닝에서 벗어나 현업의 복잡한 예외 상황을 해결하도록 유도하는 계기가 될 것으로 보입니다.