对标 LMArena：Scale AI 推出大模型众包盲测榜 SEAL Showdown

每次新模型发布，大家都会去刷 LMArena 的积分榜看谁又登顶了。但问题在于，一个整天让 AI 跑复杂的代码难题的工程师，和一个让 AI 帮忙写请假条或翻译日常邮件的普通上班族，对「这个模型到底好不好用」的判断往往完全相反。

做数据标注起家的 Scale AI 显然盯上了这个痛点。他们最新推出了一款名为 SEAL Showdown 的模型对战基准工具，直接向长期作为行业事实标准的 LMArena 下战书。

不再让极客代表全世界

SEAL Showdown 的玩法和 LMArena 大体相似，都是让两个匿名模型就同一个提示词打擂台，再由真实用户盲测投票挑出更好的那一个。

不过，Scale AI 认为现有的主流基准评测走偏了。其产品负责人 Janie Gu 直言，传统的排行榜要么靠生硬的数学和代码测试题，要么只依赖一小撮业余极客的反馈，把完全不同的人群当成铁板一块，算出一个笼统的分数，反而丢掉了日常使用的真实细节。

Scale 搬出的底牌是自家的 Outlier 数据标注平台。他们表示，这次的盲测数据来自覆盖全球 100 多个国家、70 种语言以及 200 个专业领域的真实用户。

更关键的一点在于用户画像的细分。因为依托了已实名认证的标注平台，Scale 能够掌握投票者的国籍、学历水平、职业、语言和年龄。也就是说，你很快能按地区、年龄或者具体职业来筛选榜单，看看同行们到底更喜欢哪款模型。

去年 Scale 曾发布过 SEAL 排行榜，但当时主要依赖专家评审。这次引入大众盲测，显然是想在用户端建立与 LMArena 分庭抗礼的公信力。

GPT-5 霸榜与两种裁判标准的碰撞

新榜单上线后的结果耐人寻味。在 SEAL Showdown 当前的排名中，GPT-5 几乎横扫了所有基准分类的榜首。

这和 LMArena 的现状形成了鲜明反差。在 LMArena 上，Google 的 Gemini 2.5 Pro、2.5 Flash 以及视频模型 Veo 3 占据了多数类别的领先位置。

这种落差立刻引来了业内的审视。LMArena 过去一直被质疑更偏向科技巨头的前沿闭源模型，对开源生态不够友好；但 Scale 的这套新机制同样面临问号：当普通用户把票一边倒投给 GPT-5 时，这到底反映了模型真实的日常体验优势，还只是一种受品牌认知影响的主观喜好？

为什么重要

我们认为，SEAL Showdown 的出现对整个 AI 评估体系是个及时的搅局者。长期以来，行业陷入了过度迎合单一排行榜的跑分内卷，很多模型在学术基准和代码测试里分数奇高，普通人拿来聊天或写文案却觉得生硬冰冷。如果能按受教育程度、语言和职业切分榜单，无论普通用户还是企业采购，都能少走很多看榜选型的弯路。

Scale 这一步走得相当精明。它直接盘活了自家庞大的 Outlier 标注人员资产，把原本沉重的标注供应链变成了面向全行业公开背书的数据护城河，让基准测试自带身份验证门槛。

但这里的隐患也同样明显。基于人类日常偏好的盲测，本质上很容易演变成文风讨好度、排版工整度乃至品牌光环的比拼。GPT-5 的全线领跑究竟是因为它在真实任务中更可靠，还是它那套圆滑的对话风格更容易讨好大众打分者，目前还需要打个问号。至少在现阶段，把两个榜单对照着看，依然是看清各家模型真实水平的最佳办法。