跳到正文
IFAI

產業動態

Meta 被曝 Llama 4 刷分造假:內部員工與副總裁傳相繼辭職

首次發布 傳播指數 39

據行業博主披露的 Meta AI 員工爆料,Llama 4 實際表現遠落後於開源頂尖水平,管理層甚至建議將測試集混入後訓練來刷榜。該員工已提出辭職並拒絕在技術報告上署名,並透露 Meta AI 副總裁也因同樣原因離職。

Meta 被曝 Llama 4 刷分造假:內部員工與副總裁傳相繼辭職
圖:substack.com

大模型跑分越來越漂亮,但實際用起來卻頻頻翻車,背後的原因可能比大家想的更直接。

涉嫌測試集刷榜,工程師拒在技術報告署名

據博主 Tony Peng 轉述,一位兼顧學術工作的 Meta 華人工程師自曝已經提交辭職,並主動要求把自己的名字從 Llama 4 的技術報告中撤下。

根據這位爆料者的說法,內部模型經過反覆訓練,效能依然遠遠落後於當前的開源最高水平。為了應付 4 月底的內部截止日期以保住後續投資,公司領導層建議在後訓練階段直接摻入各大基準測試集,做出一份看起來過關的成績單。

該工程師還提到,Llama 4 昨天釋出後,X 和 Reddit 上已經出現了大量實測表現差勁的反饋,甚至傳聞 Meta 的 AI 副總裁也因同樣的分歧離職。

為什麼重要

我們認為,如果這次爆料屬實,說明頭部大廠在開源軍備競賽中的指標焦慮已經嚴重扭曲了研發動作。

在後訓練裡摻入測試集,本質上就是應試作弊,雖然能換來好看的基準分數,但只要模型一交到真實使用者手裡,立刻就會露餡。對於開發者和企業來說,現在盲目跟進測試或切換到 Llama 4 的風險很高,不建議急於將其投入實際業務。

這也再次暴露了當前行業基準測試的公信力危機,當權威跑分淪為廠商爭取預算的數字遊戲,開源社群恐怕只能靠使用者的真實盲測來檢驗成色了。

來源 (1)

  1. [1]
    substack.com(在新分頁開啟)原文substack.com

話題追蹤Meta Llama 4 評測造假醜聞

這個話題的歷次新聞,最新的在上面。

  1. 傳 Meta 旗艦大模型 Behemoth 遭遇瓶頸:釋出或延至秋季
  2. Meta 換帥 FAIR:聯合創始人 Robert Fergus 離開 DeepMind 迴歸掌舵
  3. 研究指責 LM Arena 偏袒巨頭刷榜:私測只挑最高分公佈
  4. lmarena.ai 公開 Llama-4 對戰資料:指責 Meta 靠定製模型刷榜
  5. Meta 否認 Llama 4 跑分造假:沒針對測試集刷分

每日 AI 內容精選