研究指責 LM Arena 偏袒巨頭刷榜：私測只挑最高分公佈

大家平時看大模型誰更強，十有八九會去翻 Chatbot Arena 的天梯榜。盲測對決、網友投票，聽起來既客觀又民主。但最近，這個公認最公允的 AI 裁判席，被人當面掀了桌子。

來自 Cohere、斯坦福、MIT 和艾倫人工智慧研究所（Ai2）的學者們聯合發了一篇重磅論文，直指運營 Chatbot Arena 的機構 LM Arena 偏袒 Meta、OpenAI、Google 和 Amazon 等巨頭，協助他們合謀“刷榜”。

拿 27 個分身摸底，只挑考得最好的交卷

論文揭露的最核心問題，是未公開的私下測試許可權。研究團隊追蹤了 5 個月內的 280 多萬場競技場對戰，發現部分巨頭能私下塞進大批模型變體反覆測試，而表現差的成績可以直接雪藏。

最誇張的例子是 Meta。在釋出 Llama 4 之前的 1 月到 3 月，Meta 在競技場裡私測了整整 27 個模型變體。最後正式亮相時，他們只公佈了其中一個得分頂尖的版本。

Cohere 的 AI 研究副總裁 Sara Hooker 直言，只有極少數公司被告知有這種私測通道，拿到的測試資源也遠多於別人。這根本不是公允評測，而是純粹的鑽空子刷分。

面對指控，LM Arena 聯合創始人、加州大學伯克利分校教授 Ion Stoica 回應稱論文充滿不準確之處。LM Arena 官方表示評測是向所有人開放的，別家提交測試更多，並不等於其他廠商受到了不公對待，且未公開的模型公佈分數毫無意義。

抽樣傾斜與被餵飽的資料優勢

除了隱藏低分，論文還指出巨頭們在對戰抽樣率上佔盡便宜。Meta、OpenAI 和 Google 的模型在對戰中出現的頻次更高，從而能收集到更多真實使用者的偏好資料。

研究團隊指出，藉助這些多拿到的偏好資料，模型在 LM Arena 旗下的另一個基準 Arena Hard 上的表現能拉高整整 112%。不過 LM Arena 在社交平臺上反駁稱，Arena Hard 的成績和主榜並沒有直接關聯。

這項研究本身也有侷限。作者是通過向未公開模型提問其出身機構來反推身份的，這種自報家門的方法並非百分之百準確。比如 Google DeepMind 的工程師就澄清，雖然 Google 總共提交了 10 個測試模型，但負責 Gemma 的開源團隊其實只送測了一個。

但爭議顯然不會輕易平息。LM Arena 已經鬆口表示，他們正在制定新的抽樣演算法，以確保所有模型在競技場裡的出場機會更加均等。

為什麼重要

大模型行業苦刷榜久矣。學術基準早就被各家針對性訓練汙染得千瘡百孔，Chatbot Arena 之所以能成為行業金標準，靠的就是使用者盲測建立起來的信任。如果連盲測都能靠私測挑挑揀揀、靠權重傾斜來刷分，那整個榜單的參考價值就會大打折扣。

對於開發者和企業選型來說，這敲響了一記警鐘：榜首的高分很可能是特挑版本或者針對性微調的結果，實際部署時根本拿不到同等表現。幾週前 Meta 釋出 Llama 4 時就被抓包，他們把一個針對對話感最佳化的特調版本送去打榜，而真正開源出來的普通版得分慘淡得多。

我們認為，更深層的矛盾在於 LM Arena 自身的身份轉變。這個脫胎於加州大學伯克利分校的學術專案，本月剛宣佈成立商業公司並準備向投資人募資。從非營利學術裁判變成商業實體，如果不能做到測試規則和取樣完全透明，就很難擺脫與科技巨頭利益捆綁的嫌疑。公信力建立需要兩年，崩塌可能只需要一篇論文。