Meta 否認 Llama 4 跑分造假：沒針對測試集刷分

剛跑完分就被抓包作弊？這種大模型圈裡最忌諱的傳聞，這次落到了 Meta 的新旗艦 Llama 4 頭上。

週末在 X 和 Reddit 上瘋傳一則爆料，週一 Meta 生成式 AI 副總裁 Ahmad Al-Dahle 就坐不住了，緊急發帖闢謠，堅稱傳聞“根本不是真的”。

一張離職帖引爆的“刷榜門”

這起風波的源頭，看起來是中文社交平臺上的一則匿名發帖。

發帖人自稱因為抗議 Meta 的基準測試作弊手段，已經憤而從 Meta 離職。帖子裡指控 Meta 在訓練 Llama 4 Maverick 和 Scout 時，直接把“測試集”餵給了模型。

在機器學習領域，測試集本來是用來閉卷考評模型實力的。如果模型提前看過了考題和答案，跑分自然會虛高，但在實際使用中一碰就碎。

讓這則未證實傳聞越傳越廣的，是使用者實際體驗的反差。不少人在某些任務上測試 Maverick 和 Scout 時，發現它們的表現相當糟糕，跟漂亮的基準跑分對不上號。

更尷尬的是，Meta 確實在 LM Arena 上玩了點小把戲。研究人員在 X 上指出，Meta 送去 LM Arena 打榜的是一個未經發布的實驗性版本，普通開發者自己下載部署的版本，跟榜單上的表現存在肉眼可見的差距。

官方否認作弊，但承認“翻車”了

面對滿天飛的質疑，Ahmad Al-Dahle 在 X 上明確否認了“把測試集摻進訓練資料”的說法。

不過，他也承認大家目前在不同雲平臺用到的模型“質量參差不齊”。

Al-Dahle 給出的解釋是節奏太趕。他說 Meta 剛把模型做出來就立刻扔給了公眾，外部雲平臺的部署和調優需要幾天時間才能步入正軌。

按照他的說法，Meta 目前正在加緊修復 bug，並協助合作伙伴完成對接。

為什麼重要

對開發者和技術團隊來說，這件事提了一個醒：千萬別迷信釋出會上的基準跑分。現在無論閉源還是開源大模型，公開跑分和實際落地效果的脫節已經越來越嚴重。Llama 4 的新模型到底值不值得接入生產環境，最好等幾天各大雲廠商完成底層最佳化，並且用你們自己的業務資料實測，而不是看天梯榜盲目跟風。

從行業競爭來看，開源社群一直把 Meta 視為對抗閉源巨頭的旗幟。但這次 Meta 在 LM Arena 榜單上使用未公開的“特調實驗版”去刷排名，給所有人潑了一盆冷水。這種做法就算沒碰違規訓練的紅線，也在無形中透支了開源信譽。

我們認為，Meta 這一波操作顯得有些過於心急了。為了搶釋出節奏和排行榜位置，急匆匆端出一個半成品，導致下載版和打榜版貨不對板。當開源模型開始用商業公關的技巧來應付社群時，傷害的不只是 Llama 系列的口碑，也讓整個行業的基準測試進一步淪為僅供參考的數字遊戲。