AI 벤치마크 점수의 함정: MMLU 만점 경쟁이 무의미한 이유

빅테크 기업들이 새 AI 모델을 공개할 때마다 빠지지 않고 등장하는 것이 바로 벤치마크 점수입니다. 구글은 제미나이가 MMLU에서 90.0%를 기록해 인간 전문가를 뛰어넘었다고 자랑했고, 메타의 마크 저커버그 역시 최신 라마가 MMLU에서 82점 안팎을 기록했다고 과시했습니다.

하지만 이 화려한 숫자들을 그대로 믿기는 어렵습니다. 비영리 탐사보도 매체 더 마크업이 수십 편의 연구 논문과 평가 데이터셋을 분석하고 개발자들을 취재한 결과, 업계 표준으로 통하는 AI 테스트 상당수가 사실상 무의미한 수준으로 망가져 있다는 사실이 드러났습니다.

5년 전 상식 문제와 레딧 크롤링의 한계

카네기멜론 대학교의 마틴 샵 조교수는 AI를 평가하는 잣대 자체가 근본적으로 고장 났다고 잘라 말했습니다.

가장 큰 문제는 테스트의 노후화입니다. 널리 쓰이는 헬라스웨그는 2019년에 만들어진 시험으로, 당시 수준 미달이던 AI가 훌라후프를 돌리다가 갑자기 차에서 내린다는 식의 터무니없는 오답을 걸러낼 수 있는지 보려고 설계된 것입니다. 대여섯 살 아이도 맞힐 수준의 문제입니다.

데이터 자체의 품질도 조악합니다. 상당수 벤치마크가 전문가 감수 대신 위키하우, 레딧, 퀴즈 웹사이트에서 긁어모은 데이터로 제작되었습니다. 심지어 도덕과 윤리를 테스트하는 문제를 아마존 기계터크의 긱워커들에게 작성하게 한 사례도 있었습니다.

프린스턴 대학교의 아르빈드 나라야난 교수는 테스트 데이터가 오랜 기간 공개되어 모델 훈련 과정에 그대로 흡수되는 데이터 오염 문제를 지적했습니다. 학생이 시험 전에 족보를 통째로 외운 셈입니다. 워싱턴 대학교의 에밀리 벤더 교수는 언어모델이 다음 단어를 확률적으로 예측할 뿐인데, 업계가 이를 마치 진정한 이해력인 양 과대포장하고 있다고 꼬집었습니다.

구글 측은 학술 벤치마크에 데이터 유출 등 한계가 있음을 논문에 명시하고 있으며 AI가 의사를 대체할 수는 없다고 밝혔습니다. 메타와 오픈AI는 입장을 밝히지 않았습니다.

왜 중요한가

우리는 사용자가 이 벤치마크의 허상을 똑똑히 알아야 한다고 생각합니다. 의사 면허 시험이나 전문직 테스트에서 고득점을 맞았다는 기업들의 홍보만 믿고 중요한 법률이나 건강 상담을 AI에 전적으로 의존하는 것은 매우 위험하기 때문입니다.

업계 차원에서도 정답 맞히기식 벤치마크 경쟁은 한계에 다다랐습니다. 과거의 단순 객관식 시험으로 수천억 달러짜리 최첨단 모델을 측정하는 관행은 기업들의 게으른 마케팅 수단에 가깝습니다. 결국 업계는 단순 정답률 줄세우기를 벗어나 복잡한 실제 업무를 수행하는 에이전트 역량 평가로 전환해야만 할 것으로 보입니다.