AI 벤치마크 점수의 함정: MMLU 만점 경쟁이 무의미한 이유
더 마크업의 조사 보도에 따르면 구글과 메타 등이 내세우는 MMLU 등 주요 AI 벤치마크가 실질적인 모델 성능을 대변하지 못하고 있습니다. 수년 전 데이터나 저품질 크라우드소싱 문제로 구성되어 실제 추론 능력이나 환각 방지를 검증하기 어렵다는 지적입니다.
더 마크업의 조사 보도에 따르면 구글과 메타 등이 내세우는 MMLU 등 주요 AI 벤치마크가 실질적인 모델 성능을 대변하지 못하고 있습니다. 수년 전 데이터나 저품질 크라우드소싱 문제로 구성되어 실제 추론 능력이나 환각 방지를 검증하기 어렵다는 지적입니다.