LMArena 開源榜單核心庫 Arena-Rank:JAX 加速 30 倍,支援少樣本重加權
LMArena 宣佈開源其 AI 排行榜評分核心 Python 包 Arena-Rank。新版本改用 JAX 計算後端,相比原 FastChat 實現提速超 30 倍,並加入樣本重加權演算法以保證少對決模型的公平性。除大模型評估外,該工具還能直接複用於體育或電競對抗排名。
LMArena 宣佈開源其 AI 排行榜評分核心 Python 包 Arena-Rank。新版本改用 JAX 計算後端,相比原 FastChat 實現提速超 30 倍,並加入樣本重加權演算法以保證少對決模型的公平性。除大模型評估外,該工具還能直接複用於體育或電競對抗排名。
Scale AI 推出大模型盲測排行工具 SEAL Showdown,直接叫板 LMArena。它依託旗下 Outlier 眾包平臺,彙集 100 多個國家、200 個專業領域的真實使用者對話投票,支援按職業、語言和年齡篩選模型偏好。目前 GPT-5 在各分類均位列榜首。
來自 Cohere、斯坦福等機構的研究指控知名評測平臺 LM Arena 偏袒巨頭,允許 Meta、OpenAI 等私下測試幾十個變體且只公開最高分,甚至給予更高的對戰取樣率。LM Arena 否認不公指責,但表示將改進對戰取樣演算法。