LMArena、AI格付け基盤「Arena-Rank」をオープンソース公開
LMArenaはAIリーダーボードの順位算出を担うPythonパッケージ「Arena-Rank」をオープンソース公開した。計算基盤にJAXを採用し、従来のFastChat実装と比べて30倍以上の高速化を達成。対戦数が少ないモデルの公平性を保つ再重み付け機能も備えている。
LMArenaはAIリーダーボードの順位算出を担うPythonパッケージ「Arena-Rank」をオープンソース公開した。計算基盤にJAXを採用し、従来のFastChat実装と比べて30倍以上の高速化を達成。対戦数が少ないモデルの公平性を保つ再重み付け機能も備えている。