跳到正文
IFAI

行业动态

Meta 被曝 Llama 4 刷分造假:内部员工与副总裁传相继辞职

首次发布 传播指数 39

据行业博主披露的 Meta AI 员工爆料,Llama 4 实际表现远落后于开源顶尖水平,管理层甚至建议将测试集混入后训练来刷榜。该员工已提出辞职并拒绝在技术报告上署名,并透露 Meta AI 副总裁也因同样原因离职。

Meta 被曝 Llama 4 刷分造假:内部员工与副总裁传相继辞职
图:substack.com

大模型跑分越来越漂亮,但实际用起来却频频翻车,背后的原因可能比大家想的更直接。

涉嫌测试集刷榜,工程师拒在技术报告署名

据博主 Tony Peng 转述,一位兼顾学术工作的 Meta 华人工程师自曝已经提交辞职,并主动要求把自己的名字从 Llama 4 的技术报告中撤下。

根据这位爆料者的说法,内部模型经过反复训练,性能依然远远落后于当前的开源最高水平。为了应付 4 月底的内部截止日期以保住后续投资,公司领导层建议在后训练阶段直接掺入各大基准测试集,做出一份看起来过关的成绩单。

该工程师还提到,Llama 4 昨天发布后,X 和 Reddit 上已经出现了大量实测表现差劲的反馈,甚至传闻 Meta 的 AI 副总裁也因同样的分歧离职。

为什么重要

我们认为,如果这次爆料属实,说明头部大厂在开源军备竞赛中的指标焦虑已经严重扭曲了研发动作。

在后训练里掺入测试集,本质上就是应试作弊,虽然能换来好看的基准分数,但只要模型一交到真实用户手里,立刻就会露馅。对于开发者和企业来说,现在盲目跟进测试或切换到 Llama 4 的风险很高,不建议急于将其投入实际业务。

这也再次暴露了当前行业基准测试的公信力危机,当权威跑分沦为厂商争取预算的数字游戏,开源社区恐怕只能靠用户的真实盲测来检验成色了。

来源 (1)

  1. [1]
    substack.com(在新标签页打开)原文substack.com

话题追踪Meta Llama 4 评测造假丑闻

这个话题的历次新闻,最新的在上面。

  1. 传 Meta 旗舰大模型 Behemoth 遭遇瓶颈:发布或延至秋季
  2. Meta 换帅 FAIR:联合创始人 Robert Fergus 离开 DeepMind 回归掌舵
  3. 研究指责 LM Arena 偏袒巨头刷榜:私测只挑最高分公布
  4. lmarena.ai 公开 Llama-4 对战数据:指责 Meta 靠定制模型刷榜
  5. Meta 否认 Llama 4 跑分造假:没针对测试集刷分

每日 AI 内容精选