OpenAI, 44개 직종 실무 평가 벤치마크 ‘GDPval’ 공개

AI가 각종 수학 올림피아드나 객관식 학술 시험에서 만점을 받았다는 소식은 이제 더 이상 놀랍지 않습니다. 기업과 실무자들에게 진짜 중요한 질문은 따로 있습니다. 과연 이 모델이 내가 매일 사무실에서 하는 골치 아픈 실제 업무를 대신 처리할 수 있는가 하는 점입니다.

OpenAI는 9월 25일, 44개 실제 직업군을 대상으로 모델의 경제적 가치와 실무 수행 능력을 측정하는 새로운 벤치마크 GDPval을 공개했습니다.

44개 직업, 실제 업무 산출물로 평가한다

기존 MMLU 같은 시험 위주의 평가나 SWE-Bench 같은 코딩 중심 평가를 넘어, GDPval은 철저하게 거시경제 지표에 기준을 뒀습니다.

세인트루이스 연방준비은행 데이터를 기반으로 미국 GDP의 5% 이상을 차지하는 상위 9개 산업을 먼저 선정했습니다. 이어 미 노동통계국(BLS)의 2024년 5월 고용 보고서를 참고해 임금 총액 기여도가 높은 지식 노동 직업군을 추려냈습니다. 미 노동부 O*NET 데이터를 통해 육체노동이 아닌 업무가 60% 이상인 직업을 지식 노동으로 분류했고, 최종적으로 44개 직업이 선정되었습니다.

여기에는 소프트웨어 개발자, 변호사, 회계사뿐만 아니라 공인 간호사, 기계 엔지니어, 부동산 중개인, 언론인, 사립 탐정까지 포함됩니다. 전체 과제는 1,320개에 달하며, 이 중 220개 과제가 오픈소스 골드 세트로 공개되었습니다.

과제는 단순한 텍스트 질문이 아닙니다. 복잡한 참고 파일과 배경 맥락이 주어지며, 모델은 법률 의견서, 엔지니어링 청사진, 간호 계획서, 스프레드시트, 발표 슬라이드 등 실제 직장에서 제출하는 형태의 산출물을 만들어내야 합니다. 과제 설계에는 평균 14년 이상의 경력을 가진 각 분야 전문가들이 참여했으며, 과제당 평균 5회의 심층 검토를 거쳤습니다.

인간 전문가와의 블라인드 비교

평가 역시 같은 직종의 현직 전문가들이 진행하는 블라인드 방식으로 이뤄졌습니다. 채점관들은 어떤 결과물이 AI가 만든 것인지 모른 상태에서 인간 전문가의 산출물과 비교해 더 우수한지, 비슷한지, 아니면 열등한지 평가했습니다.

이번 평가에는 OpenAI의 GPT-4o, o4-mini, o3, GPT-5는 물론 경쟁사인 앤트로픽의 Claude Opus 4.1, 구글의 Gemini 2.5 Pro, xAI의 Grok 4까지 주요 플래그십 모델들이 대거 포함되었습니다.

OpenAI는 인간 전문가의 채점 성향을 모사하는 자동 채점 AI도 개발해 evals.openai.com에 연구용 서비스로 공개했습니다. 다만 아직 인간 전문가 수준의 신뢰도에는 도달하지 못해 완전 대체는 불가능하다고 밝혔습니다.

현재 GDPval의 가장 큰 한계는 모든 평가가 단 한 번의 프롬프트로 결과물을 내는 단발성 평가라는 점입니다. 실제 업무처럼 초안을 다듬고 피드백을 주고받는 다중 대화 작업 흐름은 반영되지 않았으며, 이는 향후 버전에서 보완될 예정입니다.

왜 중요한가

우리는 GDPval이 AI 성능 경쟁의 축을 무의미한 학술 점수 놀음에서 실제 경제적 효용성으로 전환하는 중요한 이정표가 될 것으로 봅니다.

기업 도입을 고민하는 의사결정권자에게 모델의 수능 점수는 아무런 의미가 없습니다. 내 사업장의 실무자를 실질적으로 보조할 수 있는지가 핵심입니다. GDPval에 포함된 44개 직종 종사자라면 이번 평가 결과를 통해 생성형 AI가 본인 업무 산출물에 얼마나 근접했는지 확인할 가치가 충분합니다. 다만 현재 평가는 단발성 생성에 국한되어 있어, 실제 업무의 핵심인 지속적인 수정과 맥락 조율 능력까지 검증된 것은 아니라는 점을 감안해야 합니다.

업계 측면에서 보면, OpenAI는 AGI의 상업적 기준을 선점하려는 매우 영리한 수를 뒀습니다. GDP 기여도라는 경제 지표를 벤치마크의 명분으로 내세우면서, 경쟁사들 역시 모델의 실제 경제적 가치를 입증해야 하는 압박을 받게 되었습니다.

하지만 산출물의 품질만으로 특정 직업의 가치를 온전히 평가하는 접근법에는 한계도 존재합니다. 실제 지식 노동은 독립된 보고서 한 장으로 끝나지 않으며, 조직 내 소통과 비정형적인 조율 과정이 업무의 절반 이상을 차지합니다. 단발성 완성도만 보고 AI의 실무 투입을 과신하는 것은 현장 도입 시 예상치 못한 혼선을 초래할 수 있습니다.