LMArena、AI格付け基盤「Arena-Rank」をオープンソース公開

Arena-Rankは、LMArenaが自社のAIリーダーボードを運用するために使っている順位算出用のPythonパッケージだ。これまでFastChatリポジトリ内に分散していた計算ロジックを刷新し、Apache 2.0ライセンスのオープンソースとして独立させた。

大規模言語モデルのブラインドテスト結果を評価するだけでなく、対戦データから勝率をモデル化する汎用ライブラリとして設計されているため、スポーツの勝敗やeスポーツ大会のランキング算出にもそのまま流用できる。

30倍の高速化を実現した仕組み

旧来のFastChat実装（NumPyおよびSciPyベース）と比べて、Arena-Rankの計算速度は30倍以上に向上した。

この性能向上の柱は2つある。1つは計算バックエンドにJAXを採用したことだ。JIT（即時）コンパイルと効率的な自動微分が効いており、将来的にはGPUやTPUなどのアクセラレータを使ったスケーリングも容易に行える。

もう1つは、信頼区間の算出方法の見直しだ。従来のようにブートストラップ法でリサンプリングを繰り返すのではなく、閉形式（closed-form）で直接計算する方式に切り替えたことで、大幅なオーバーヘッドを削ぎ落とした。

アルゴリズム面でも実践的な改善が入っている。対戦数がまだ少ない新規モデルを公平に扱うための再重み付け機能や、回答の長さなどに引っ張られないよう文脈特徴を考慮するBradley-Terry拡張モデルが組み込まれた。データ前処理とモデル最適化も分離され、一度成型したデータに対して複数のランキングモデルを並行して検証しやすくなっている。

セットアップと使い方

すでにPyPIに登録されており、pipやuvコマンドを使って簡単にインストールできる。特別なハードウェアは不要で、一般的なPython環境で動作する。

LMArenaが公開している14万件の人体嗜好データセットを使えば、わずか数行のスクリプトで上位10モデルの評価スコアと95%信頼区間を算出できる。

GitHubリポジトリには、スタイル制御されたリーダーボードの再現だけでなく、PRISMデータセットを用いた投票者傾向の分析、さらにはプロバスケットボールや『大乱闘スマッシュブラザーズ』の大会記録をランク付けする実践的なノートブックも同梱されている。

なぜ重要か

AIモデルを独自に評価している研究者や開発者にとって、業界標準の評価ロジックをブラックボックスのままにせず、手元で正確に再現・検証できるようになった価値は大きい。

LMArenaのこの判断は非常に堅実だと考える。彼らの真の強みは蓄積された膨大なブラインド投票データであり、集計コードを囲い込む理由はない。アルゴリズムを公開することでサンプルの偏りに対する疑念を払拭し、AI評価におけるデファクトスタンダードの地位を盤石にできる。

ただし、このツールが解決するのは集計と統計モデリングの部分だけだ。自前で意味のあるリーダーボードを作るには、依然として大量かつ偏りのない対戦データをどう集めるかという根本的な課題が残る。