LM 아레나, 빅테크 챗봇 순위 조작 편의 제공 의혹 제기돼
코히어, 스탠퍼드대 등 공동 연구진은 유명 AI 벤치마크 LM 아레나가 메타, 오픈AI 등 거대 기업에 비공개 테스트 기회와 높은 샘플링 비율을 제공해 순위 조작을 도왔다는 연구를 발표했습니다. 연구진은 최고 점수를 받은 변체만 선별 공개할 수 있는 특혜가 있었다고 주장했으며, LM 아레나 측은 불공정 의혹을 부인하면서도 매칭 알고리즘을 개선하겠다고 밝혔습니다.
Chatbot Arena
최신 GPT-4o, LMSYS 벤치마크 1위 탈환: 코딩 성능 30점 상승
LMSYS는 OpenAI의 최신 GPT-4o(20240808)가 1,314점을 기록하며 구글 Gemini-1.5-Pro-Exp를 제치고 Chatbot Arena 종합 1위를 탈환했다고 밝혔다. 코딩과 고난도 프롬프트 등 여러 부문에서 선두를 차지했으며, API에서는 chatgpt-4o-latest로 제공된다.