LM 아레나, 빅테크 챗봇 순위 조작 편의 제공 의혹 제기돼
코히어, 스탠퍼드대 등 공동 연구진은 유명 AI 벤치마크 LM 아레나가 메타, 오픈AI 등 거대 기업에 비공개 테스트 기회와 높은 샘플링 비율을 제공해 순위 조작을 도왔다는 연구를 발표했습니다. 연구진은 최고 점수를 받은 변체만 선별 공개할 수 있는 특혜가 있었다고 주장했으며, LM 아레나 측은 불공정 의혹을 부인하면서도 매칭 알고리즘을 개선하겠다고 밝혔습니다.
코히어, 스탠퍼드대 등 공동 연구진은 유명 AI 벤치마크 LM 아레나가 메타, 오픈AI 등 거대 기업에 비공개 테스트 기회와 높은 샘플링 비율을 제공해 순위 조작을 도왔다는 연구를 발표했습니다. 연구진은 최고 점수를 받은 변체만 선별 공개할 수 있는 특혜가 있었다고 주장했으며, LM 아레나 측은 불공정 의혹을 부인하면서도 매칭 알고리즘을 개선하겠다고 밝혔습니다.