LMArena 開源榜單核心庫 Arena-Rank：JAX 加速 30 倍，支援少樣本重加權

Arena-Rank 是 LMArena 用來給各大 AI 模型排座次的底層 Python 庫。它把過去分散在 FastChat 倉庫裡的榜單計算邏輯獨立了出來，採用 Apache 2.0 協議開源，能根據兩兩盲測對決資料快速算出各個模型的評分和置信區間。

除了給大模型做盲測評測，它本質上是一套通用的勝率建模工具，體育聯賽或電競賽事的對決排名也能直接套用。

提速 30 倍是怎麼做到的

新庫最明顯的變化是速度。相比原來基於 NumPy 和 SciPy 的 FastChat 舊實現，Arena-Rank 的計算速度提升了 30 倍以上。

這個提速主要來自兩個改動。一是把計算後端換成了 JAX，利用 JIT 即時編譯和高效的自動微分來最佳化運算，未來還能方便地掛載到 GPU 或 TPU 等硬體加速器上。

二是置信區間的計算方法變了。過去通常需要靠 Bootstrap 反覆有放回抽樣來估算區間，耗時很長，現在換成了閉式解公式直接計算，省去了大量重複運算。

演算法層面也補齊了過去幾個月的新機制。針對剛上線、測試場次較少的新模型，它加入了樣本重加權功能，避免小樣本帶來的勝率失真。針對長回答容易討巧的問題，庫裡也提供了能處理上下文特徵的 Bradley-Terry 擴充套件，用來生成控制回答風格後的排行榜。

架構設計上，它把資料預處理和模型最佳化徹底解耦。你把原始對戰資料清洗成 PairDataset 後，可以掛載不同的排名演算法反覆擬合，非常適合做超引數搜尋或快速驗證多種榜單變體。

怎麼跑起來

工具已經發布到了 PyPI，只要通過 pip 或 uv 就能直接裝進本地 Python 環境。

在程式碼裡配合官方今年 7 月公開的 14 萬條人類偏好資料集，只需幾行程式碼就能完成資料載入、擬合 Bradley-Terry 模型，並輸出排名前十的模型列表和 95% 置信區間。

除了基礎用法，官方倉庫裡的示例還涵蓋了樣式控制榜單、PRISM 對齊資料集的投票模式分析，以及用 NBA 賽季資料和《任天堂明星大亂鬥》比賽結果做排名的範例。

為什麼重要

做模型評測或資料分析的開發者現在可以把評估邏輯完全跑在本地，不用再猜測官方榜單背後到底用了什麼黑盒演算法。

我們認為，LMArena 把自己的看家本領開源是一步好棋。大模型競技場的核心資產從不是幾行排名程式碼，而是海量、高質量的真實盲測投票流水。把計算框架開放出來，不僅能堵住外界對小樣本偏差或打分偏向的質疑，還能順手成為雙人對抗排名領域的標準底座。

唯一的門檻在於，它解決的是後端的打分與擬合問題。如果你手頭沒有現成的勝負對決資料，光靠這個庫依然搭不出一個屬於自己的競技場。