研究指责 LM Arena 偏袒巨头刷榜：私测只挑最高分公布

大家平时看大模型谁更强，十有八九会去翻 Chatbot Arena 的天梯榜。盲测对决、网友投票，听起来既客观又民主。但最近，这个公认最公允的 AI 裁判席，被人当面掀了桌子。

来自 Cohere、斯坦福、MIT 和艾伦人工智能研究所（Ai2）的学者们联合发了一篇重磅论文，直指运营 Chatbot Arena 的机构 LM Arena 偏袒 Meta、OpenAI、Google 和 Amazon 等巨头，协助他们合谋“刷榜”。

拿 27 个分身摸底，只挑考得最好的交卷

论文揭露的最核心问题，是未公开的私下测试权限。研究团队追踪了 5 个月内的 280 多万场竞技场对战，发现部分巨头能私下塞进大批模型变体反复测试，而表现差的成绩可以直接雪藏。

最夸张的例子是 Meta。在发布 Llama 4 之前的 1 月到 3 月，Meta 在竞技场里私测了整整 27 个模型变体。最后正式亮相时，他们只公布了其中一个得分顶尖的版本。

Cohere 的 AI 研究副总裁 Sara Hooker 直言，只有极少数公司被告知有这种私测通道，拿到的测试资源也远多于别人。这根本不是公允评测，而是纯粹的钻空子刷分。

面对指控，LM Arena 联合创始人、加州大学伯克利分校教授 Ion Stoica 回应称论文充满不准确之处。LM Arena 官方表示评测是向所有人开放的，别家提交测试更多，并不等于其他厂商受到了不公对待，且未公开的模型公布分数毫无意义。

抽样倾斜与被喂饱的数据优势

除了隐藏低分，论文还指出巨头们在对战抽样率上占尽便宜。Meta、OpenAI 和 Google 的模型在对战中出现的频次更高，从而能收集到更多真实用户的偏好数据。

研究团队指出，借助这些多拿到的偏好数据，模型在 LM Arena 旗下的另一个基准 Arena Hard 上的表现能拉高整整 112%。不过 LM Arena 在社交平台上反驳称，Arena Hard 的成绩和主榜并没有直接关联。

这项研究本身也有局限。作者是通过向未公开模型提问其出身机构来反推身份的，这种自报家门的方法并非百分之百准确。比如 Google DeepMind 的工程师就澄清，虽然 Google 总共提交了 10 个测试模型，但负责 Gemma 的开源团队其实只送测了一个。

但争议显然不会轻易平息。LM Arena 已经松口表示，他们正在制定新的抽样算法，以确保所有模型在竞技场里的出场机会更加均等。

为什么重要

大模型行业苦刷榜久矣。学术基准早就被各家针对性训练污染得千疮百孔，Chatbot Arena 之所以能成为行业金标准，靠的就是用户盲测建立起来的信任。如果连盲测都能靠私测挑挑拣拣、靠权重倾斜来刷分，那整个榜单的参考价值就会大打折扣。

对于开发者和企业选型来说，这敲响了一记警钟：榜首的高分很可能是特挑版本或者针对性微调的结果，实际部署时根本拿不到同等表现。几周前 Meta 发布 Llama 4 时就被抓包，他们把一个针对对话感优化的特调版本送去打榜，而真正开源出来的普通版得分惨淡得多。

我们认为，更深层的矛盾在于 LM Arena 自身的身份转变。这个脱胎于加州大学伯克利分校的学术项目，本月刚宣布成立商业公司并准备向投资人募资。从非营利学术裁判变成商业实体，如果不能做到测试规则和采样完全透明，就很难摆脱与科技巨头利益捆绑的嫌疑。公信力建立需要两年，崩塌可能只需要一篇论文。