LMArena、AI格付け基盤「Arena-Rank」をオープンソース公開
LMArenaはAIリーダーボードの順位算出を担うPythonパッケージ「Arena-Rank」をオープンソース公開した。計算基盤にJAXを採用し、従来のFastChat実装と比べて30倍以上の高速化を達成。対戦数が少ないモデルの公平性を保つ再重み付け機能も備えている。
LMArena
LMArena に対抗：Scale AI が実利用データに基づく「SEAL Showdown」を公開
Scale AI は LLM 評価ベンチマーク「SEAL Showdown」を公開した。Outlier 基盤の 100 か国以上・200 以上の専門領域に及ぶ実ユーザーの対話投票を集計し、国や職業、年齢別に人気モデルを絞り込める。現時点で GPT-5 が全カテゴリで首位を獲得している。
LM Arenaに大手優遇の不正疑惑：非公開テストで高スコア選抜か
Cohereやスタンフォード大学などの研究チームは、AIベンチマーク「LM Arena」が大手企業を優遇していると告発する論文を発表しました。MetaやOpenAIなどが非公開で多数のモデルをテストし最高スコアのみを公開できたほか、対戦のサンプリング率でも優遇されていたと指摘されています。LM Arena側は疑惑を否定しつつ、アルゴリズムの改定を表明しました。