LMArena 开源榜单核心库 Arena-Rank:JAX 加速 30 倍,支持少样本重加权
LMArena 宣布开源其 AI 排行榜评分核心 Python 包 Arena-Rank。新版本改用 JAX 计算后端,相比原 FastChat 实现提速超 30 倍,并加入样本重加权算法以保证少对决模型的公平性。除大模型评估外,该工具还能直接复用于体育或电竞对抗排名。
LMArena 宣布开源其 AI 排行榜评分核心 Python 包 Arena-Rank。新版本改用 JAX 计算后端,相比原 FastChat 实现提速超 30 倍,并加入样本重加权算法以保证少对决模型的公平性。除大模型评估外,该工具还能直接复用于体育或电竞对抗排名。
Scale AI 推出大模型盲测排行工具 SEAL Showdown,直接叫板 LMArena。它依托旗下 Outlier 众包平台,汇集 100 多个国家、200 个专业领域的真实用户对话投票,支持按职业、语言和年龄筛选模型偏好。目前 GPT-5 在各分类均位列榜首。
来自 Cohere、斯坦福等机构的研究指控知名评测平台 LM Arena 偏袒巨头,允许 Meta、OpenAI 等私下测试几十个变体且只公开最高分,甚至给予更高的对战采样率。LM Arena 否认不公指责,但表示将改进对战采样算法。