LMArena, AI 벤치마크 핵심 라이브러리 'Arena-Rank' 오픈소스 공개
LMArena가 자사 AI 리더보드의 순위 산출을 담당하는 파이썬 패키지 'Arena-Rank'를 오픈소스로 공개했다. 계산 백엔드를 JAX로 교체해 기존 FastChat 대비 30배 이상 속도를 끌어올렸으며, 대결 횟수가 적은 모델의 편향을 보정하는 재가중치 기능을 추가했다.
LMArena
LMArena에 도전장: Scale AI, 사용자 블라인드 평가 랭킹 'SEAL Showdown' 출시
Scale AI가 LMArena에 대항하는 LLM 블라인드 테스트 벤치마크 'SEAL Showdown'을 공개했다. Outlier 플랫폼을 통해 100여 개국, 200개 직무 분야의 실제 사용자 대화 투표를 집계하며 국가·연령·직업별 선호도를 분석할 수 있다. 현재 GPT-5가 전 부문 1위를 기록 중이다.
LM 아레나, 빅테크 챗봇 순위 조작 편의 제공 의혹 제기돼
코히어, 스탠퍼드대 등 공동 연구진은 유명 AI 벤치마크 LM 아레나가 메타, 오픈AI 등 거대 기업에 비공개 테스트 기회와 높은 샘플링 비율을 제공해 순위 조작을 도왔다는 연구를 발표했습니다. 연구진은 최고 점수를 받은 변체만 선별 공개할 수 있는 특혜가 있었다고 주장했으며, LM 아레나 측은 불공정 의혹을 부인하면서도 매칭 알고리즘을 개선하겠다고 밝혔습니다.