Meta 否认 Llama 4 跑分造假：没针对测试集刷分

刚跑完分就被抓包作弊？这种大模型圈里最忌讳的传闻，这次落到了 Meta 的新旗舰 Llama 4 头上。

周末在 X 和 Reddit 上疯传一则爆料，周一 Meta 生成式 AI 副总裁 Ahmad Al-Dahle 就坐不住了，紧急发帖辟谣，坚称传闻“根本不是真的”。

一张离职帖引爆的“刷榜门”

这起风波的源头，看起来是中文社交平台上的一则匿名发帖。

发帖人自称因为抗议 Meta 的基准测试作弊手段，已经愤而从 Meta 离职。帖子里指控 Meta 在训练 Llama 4 Maverick 和 Scout 时，直接把“测试集”喂给了模型。

在机器学习领域，测试集本来是用来闭卷考评模型实力的。如果模型提前看过了考题和答案，跑分自然会虚高，但在实际使用中一碰就碎。

让这则未证实传闻越传越广的，是用户实际体验的反差。不少人在某些任务上测试 Maverick 和 Scout 时，发现它们的表现相当糟糕，跟漂亮的基准跑分对不上号。

更尴尬的是，Meta 确实在 LM Arena 上玩了点小把戏。研究人员在 X 上指出，Meta 送去 LM Arena 打榜的是一个未经发布的实验性版本，普通开发者自己下载部署的版本，跟榜单上的表现存在肉眼可见的差距。

官方否认作弊，但承认“翻车”了

面对满天飞的质疑，Ahmad Al-Dahle 在 X 上明确否认了“把测试集掺进训练数据”的说法。

不过，他也承认大家目前在不同云平台用到的模型“质量参差不齐”。

Al-Dahle 给出的解释是节奏太赶。他说 Meta 刚把模型做出来就立刻扔给了公众，外部云平台的部署和调优需要几天时间才能步入正轨。

按照他的说法，Meta 目前正在加紧修复 bug，并协助合作伙伴完成对接。

为什么重要

对开发者和技术团队来说，这件事提了一个醒：千万别迷信发布会上的基准跑分。现在无论闭源还是开源大模型，公开跑分和实际落地效果的脱节已经越来越严重。Llama 4 的新模型到底值不值得接入生产环境，最好等几天各大云厂商完成底层优化，并且用你们自己的业务数据实测，而不是看天梯榜盲目跟风。

从行业竞争来看，开源社区一直把 Meta 视为对抗闭源巨头的旗帜。但这次 Meta 在 LM Arena 榜单上使用未公开的“特调实验版”去刷排名，给所有人泼了一盆冷水。这种做法就算没碰违规训练的红线，也在无形中透支了开源信誉。

我们认为，Meta 这一波操作显得有些过于心急了。为了抢发布节奏和排行榜位置，急匆匆端出一个半成品，导致下载版和打榜版货不对板。当开源模型开始用商业公关的技巧来应付社区时，伤害的不只是 Llama 系列的口碑，也让整个行业的基准测试进一步沦为仅供参考的数字游戏。