LMArena 开源榜单核心库 Arena-Rank：JAX 加速 30 倍，支持少样本重加权

Arena-Rank 是 LMArena 用来给各大 AI 模型排座次的底层 Python 库。它把过去分散在 FastChat 仓库里的榜单计算逻辑独立了出来，采用 Apache 2.0 协议开源，能根据两两盲测对决数据快速算出各个模型的评分和置信区间。

除了给大模型做盲测评测，它本质上是一套通用的胜率建模工具，体育联赛或电竞赛事的对决排名也能直接套用。

提速 30 倍是怎么做到的

新库最明显的变化是速度。相比原来基于 NumPy 和 SciPy 的 FastChat 旧实现，Arena-Rank 的计算速度提升了 30 倍以上。

这个提速主要来自两个改动。一是把计算后端换成了 JAX，利用 JIT 即时编译和高效的自动微分来优化运算，未来还能方便地挂载到 GPU 或 TPU 等硬件加速器上。

二是置信区间的计算方法变了。过去通常需要靠 Bootstrap 反复有放回抽样来估算区间，耗时很长，现在换成了闭式解公式直接计算，省去了大量重复运算。

算法层面也补齐了过去几个月的新机制。针对刚上线、测试场次较少的新模型，它加入了样本重加权功能，避免小样本带来的胜率失真。针对长回答容易讨巧的问题，库里也提供了能处理上下文特征的 Bradley-Terry 扩展，用来生成控制回答风格后的排行榜。

架构设计上，它把数据预处理和模型优化彻底解耦。你把原始对战数据清洗成 PairDataset 后，可以挂载不同的排名算法反复拟合，非常适合做超参数搜索或快速验证多种榜单变体。

怎么跑起来

工具已经发布到了 PyPI，只要通过 pip 或 uv 就能直接装进本地 Python 环境。

在代码里配合官方今年 7 月公开的 14 万条人类偏好数据集，只需几行代码就能完成数据加载、拟合 Bradley-Terry 模型，并输出排名前十的模型列表和 95% 置信区间。

除了基础用法，官方仓库里的示例还涵盖了样式控制榜单、PRISM 对齐数据集的投票模式分析，以及用 NBA 赛季数据和《任天堂明星大乱斗》比赛结果做排名的范例。

为什么重要

做模型评测或数据分析的开发者现在可以把评估逻辑完全跑在本地，不用再猜测官方榜单背后到底用了什么黑盒算法。

我们认为，LMArena 把自己的看家本领开源是一步好棋。大模型竞技场的核心资产从不是几行排名代码，而是海量、高质量的真实盲测投票流水。把计算框架开放出来，不仅能堵住外界对小样本偏差或打分偏向的质疑，还能顺手成为双人对抗排名领域的标准底座。

唯一的门槛在于，它解决的是后端的打分与拟合问题。如果你手头没有现成的胜负对决数据，光靠这个库依然搭不出一个属于自己的竞技场。