lmarena.ai 公開 Llama-4 對戰資料：指責 Meta 靠定製模型刷榜

打榜贏了，但可能只是贏在「說話好聽」上。大模型盲測平臺 lmarena.ai（原 LMSYS）公開了 2000 多場涉及 Meta Llama-4 的對戰原始資料，並公開批評 Meta 在提交模型時缺乏透明度。

針對人類喜好「特調」的對戰版本

這次爭議的核心在於名為「Llama-4-Maverick-03-26-Experimental」的測試模型。lmarena.ai 表示，早期分析發現，模型的回答風格和語氣對勝率產生了很大影響，平臺甚至特別提到了表情符號的影響。

平臺明確指出，Meta 對打榜政策的理解與平臺的預期不符。Meta 本該事先說明這是一個為了迎合人類偏好而特別最佳化的定製版本。為了保證透明度，lmarena.ai 直接公開了包含提示詞、模型回覆和使用者投票結果的 2000 多條對戰記錄。

同時，lmarena.ai 正在把 Hugging Face 上的公開發布版本拉進盲測，很快會公佈真實成績，並且正在修改榜單規則，避免以後再有廠商鑽空子。

為什麼重要

這起風波直接挑明瞭盲測榜單最大的痛點：刷分套路。我們認為，當盲測排名成為各家大模型最核心的宣傳背書時，廠商自然會想方設法迎合人類評委，比如把語氣調得更討喜、多帶幾個 Emoji，但這種討巧的做法並不代表推理或解決實際問題能力的提升。

lmarena.ai 選擇公開全部對戰記錄，並拉入開源社群的公開權重重新跑分，看起來是在用實際行動重塑公信力。對開發者來說，盲測勝率可以看，但絕不能迷信，真正能拿到手裡跑業務的模型究竟水平如何，終究還是要看公開權重的實際表現。