LMArena에 도전장: Scale AI, 사용자 블라인드 평가 랭킹 'SEAL Showdown' 출시

새로운 대규모 언어 모델이 나올 때마다 개발자들은 관행처럼 LMArena 순위표를 확인해 왔습니다. 하지만 고난도 코딩 문제를 던지는 기술 마니아와 일상 업무에서 이메일 작성을 맡기는 일반 직장인이 체감하는 '좋은 모델'의 기준은 완전히 다를 수밖에 없습니다.

데이터 라벨링 기업 Scale AI가 공개한 새로운 벤치마크 도구 'SEAL Showdown'은 바로 이 지점을 파고들며 기존 평가 생태계에 정면으로 도전장을 던졌습니다.

소수 마니아를 넘어 일상 사용자로

SEAL Showdown의 기본 진행 방식은 LMArena와 유사합니다. 프롬프트 하나를 두고 익명의 두 모델이 내놓은 답변을 나란히 블라인드 테스트한 뒤, 이용자가 더 나은 쪽에 표를 던지는 방식입니다.

Scale AI가 내세운 차별점은 평가자의 실제 다양성입니다. Scale AI의 제품 총괄 Janie Gu는 기존 벤치마크들이 합성 테스트나 소수 마니아층의 피드백에 지나치게 의존하면서, 다양한 사용자의 일상적 사용 맥락을 놓치고 단일 점수로 뭉뚱그려 왔다고 지적했습니다.

이 한계를 넘기 위해 회사는 자사 라벨링 플랫폼인 Outlier를 전면에 내세웠습니다. 100개국 이상, 70개 언어, 200개 전문 분야에 걸친 실제 기여자의 대화 데이터를 바탕으로 순위를 산출한다는 설명입니다.

참여자의 국가, 학력, 직업, 언어, 연령 정보가 검증되어 있기 때문에, 특정 지역이나 연령대, 직무별로 어떤 모델이 인기를 끄는지 세부적으로 확인하는 기능도 지원합니다.

Scale AI는 지난해 전문가 평가 중심의 SEAL 리더보드를 선보인 바 있으나, 이번에는 일반 사용자 테스트 방식을 도입해 대중적인 대안 리더보드로 확장했습니다.

전 카테고리를 석권한 GPT-5

현재 공개된 순위 결과는 기존 판도와 사뭇 다릅니다. SEAL Showdown의 모든 벤치마크 카테고리에서 GPT-5가 1위를 싹쓸이하고 있습니다.

구글의 Gemini 2.5 Pro와 Flash, Veo 3가 주요 부문 선두를 달리고 있는 LMArena와는 정반대의 그림입니다.

이러한 결과 차이를 두고 평가의 객관성에 대한 논란도 이어집니다. LMArena가 빅테크의 첨단 모델에 편향되어 있다는 비판을 받아온 것처럼, Scale AI의 새 순위 역시 객관적 성능보다는 브랜드 인지도나 대중적 취향이 과도하게 반영된 결과일 수 있다는 지적입니다.

왜 중요한가

우리는 SEAL Showdown의 등장이 사실상 독점 체제였던 AI 리더보드 시장에 필요한 균열을 냈다고 봅니다. 복잡한 벤치마크 점수와 실제 사용자 체감 사이의 괴리로 고민하던 기업과 개발자들에게, 직군별·언어별 맞춤형 선호도 데이터는 실질적인 모델 도입 기준을 제공할 수 있습니다.

기존 Outlier 검증 인력을 평가단으로 영리하게 전환해 진입장벽을 구축한 전략도 돋보입니다. 별도의 평가단을 모으지 않고도 인구통계학적 배경이 입증된 대규모 평가 환경을 바로 만들어냈기 때문입니다.

다만 인간의 주관적 선호도가 반드시 모델의 뛰어난 작업 수행력을 보증하지는 않는다는 점은 경계해야 합니다. 친절한 문체나 정돈된 답변 형식에 표가 쏠리기 쉬운 환경인 만큼, GPT-5의 독주가 실제 성능 격차인지 다듬어진 대화 톤 덕분인지는 아직 불분명합니다. 지금으로서는 두 플랫폼의 결과를 교차 검증하며 각자의 업무 환경에 맞는 모델을 가려내는 안목이 필요합니다.