OpenAI, 100만 달러 규모 실무 외주로 AI 평가하는 SWE-Lancer 공개

최첨단 AI 모델을 프리랜서 시장에 투입하면 실제로 얼마를 벌 수 있을까요? 오픈AI가 이를 직접 시험해 본 결과, 현실의 벽은 여전히 높았습니다.

오픈AI는 프리랜서 플랫폼 업워크(Upwork)에서 수집한 1,400개 이상의 실제 소프트웨어 엔지니어링 작업으로 구성된 새로운 벤치마크 ‘SWE-Lancer’를 공개했습니다. 여기에 걸린 실제 외주 보상금의 총합은 100만 달러에 달합니다.

달러 가치로 매기는 AI의 엔지니어링 실력

과제의 폭은 매우 넓습니다. 50달러짜리 단순 버그 수정부터 3만 2,000달러에 달하는 대규모 기능 구현까지 다양합니다. 단순히 코드를 짜는 독립 엔지니어링 과제뿐 아니라, 여러 기술 구현 제안서 중 최선의 방안을 선택하는 관리자 역할의 과제도 포함되었습니다.

채점 방식 역시 엄격합니다. 엔지니어링 작업은 숙련된 개발자가 삼중 검증한 엔드투엔드 테스트로 평가하고, 관리자 결정은 당시 실제로 고용되었던 엔지니어링 매니저의 선택과 비교했습니다. 그 결과, 현재 최첨단 프론티어 모델조차 대다수의 작업을 해결하지 못하는 것으로 나타났습니다. 오픈AI는 연구를 지원하기 위해 통합 도커 이미지와 ‘SWE-Lancer Diamond’라는 공개 평가 데이터셋을 오픈소스로 제공했습니다.

왜 중요한가

벤치마크 점수를 추상적인 지표 대신 실제 화폐 가치로 환산했다는 점에서 매우 똑똑한 접근입니다.

기존 코딩 벤치마크는 시험 문제 풀이에 가까워 실제 현업에서 얼마만큼의 생산성 가치가 있는지 체감하기 어려웠습니다. 실제 프리랜서 외주 작업과 단가를 기준으로 삼으면서, 업계는 AI의 능력을 단순한 문제 해결력이 아니라 실질적인 경제적 산출물로 평가할 수 있게 되었습니다. 현업 개발팀에게도 AI 도입 시 기대치를 현실적으로 조정할 수 있는 좋은 기준점이 됩니다.