Inclusion AI 推出新排行榜：直接把大模型拉进真实应用里打分

每次大模型发新版本，官方都会贴出一堆 MMLU 或者各种基准测试的高分图。但如果你在实际业务里调过 API 就会发现，实验室做题拿满分的模型，上线跟真实用户聊两句可能就露怯。

实验室里刷榜，和真实生产环境干活，完全是两码事。

蚂蚁集团旗下的 Inclusion AI 最近发了一篇论文，提出了一个叫 Inclusion Arena 的实时排行榜。他们的思路很直接：别在实验室里做题了，直接去真实的线上应用里看模型表现。

把盲测擂台塞进真实 App

像 Chatbot Arena 这类平台，主要靠网友主动去网页上提问并盲测投票。Inclusion Arena 则换了种打法，把测试探针直接埋进了第三方应用里。

系统目前接入了两个真实产品，一个是角色扮演聊天应用 Joyland，另一个是教育沟通应用 T-Box。普通用户在里面正常发消息，系统会在后台悄悄把提示词发给多个大模型。

模型生成不同的回答后，用户挑选自己最喜欢的一个，但整个过程用户并不知道背后是谁在回答。这就把模型评测变成了真实业务里的 A/B 测试。

截至 2025 年 7 月，Inclusion AI 从这两个应用里的 46611 位活跃用户身上，收集了 501003 次成对比较数据。

早期排名的头部位置被几家明星模型包揽。排在最前面的是 Anthropic 的 Claude 3.7 Sonnet，紧随其后的是 DeepSeek v3-0324、Claude 3.5 Sonnet、DeepSeek v3 以及百炼的 Qwen Max-0125。

避开下围棋的 Elo 算法

大多数竞技榜单喜欢用国际象棋的 Elo 积分系统，Chatbot Arena 也同时在使用。但 Inclusion AI 认为，Elo 在面对模型数量暴增时波动较大，因此他们选用了 Bradley-Terry 概率模型来推算模型的潜在能力，让打分更稳定。

不过，随着接入的模型越来越多，让所有模型穷举两两对决，计算成本高得吓人。

为了省算力和时间，他们加了两套机制。一套是排位赛机制，新模型刚来时先快速测几轮，估算出初始大概排名；另一套叫近邻采样，只把实力相近、在同一个置信区间的模型凑在一起比，最大化每次对比的信息量。

团队也坦白，目前接入的应用数量确实很少。他们接下来计划成立一个开放联盟，拉更多实际应用进来扩充生态。

为什么重要

对企业和开发者来说，现在的模型排行榜实在太多了，而且绝大多数静态榜单已经被各家厂商刷透。能看到真实用户在多轮对话里的盲测偏好，选型时多了一份贴近实战的参考。

但我们认为，现在完全照着这个榜单做决策还为时过早。目前的样本全来自角色扮演和教育沟通这两个特定场景，测出来的是聊天沉浸感和辅导语气，代表不了企业级搜索、复杂代码编写或金融分析能力。

在行业层面，它指出了评测进化的必然方向。众包测试网站里充斥着大量懂技术的 AI 发烧友在故意刁难模型，而商业落地真正服务的是普通消费级用户，两者的偏好截然不同。

蚂蚁这套做法聪明在借用了真实流量，既不给用户额外负担，又能拿到高质量反馈。但它的命门也在于盟友规模。如果无法拉来办公协同、工具助手等更多维度的 App 进驻，这个擂台很容易局限在特定娱乐圈子里，难以成为通用的行业度量衡。