對標 LMArena：Scale AI 推出大模型眾包盲測榜 SEAL Showdown

每次新模型釋出，大家都會去刷 LMArena 的積分榜看誰又登頂了。但問題在於，一個整天讓 AI 跑複雜的程式碼難題的工程師，和一個讓 AI 幫忙寫請假條或翻譯日常郵件的普通上班族，對「這個模型到底好不好用」的判斷往往完全相反。

做資料標註起家的 Scale AI 顯然盯上了這個痛點。他們最新推出了一款名為 SEAL Showdown 的模型對戰基準工具，直接向長期作為行業事實標準的 LMArena 下戰書。

不再讓極客代表全世界

SEAL Showdown 的玩法和 LMArena 大體相似，都是讓兩個匿名模型就同一個提示詞打擂臺，再由真實使用者盲測投票挑出更好的那一個。

不過，Scale AI 認為現有的主流基準評測走偏了。其產品負責人 Janie Gu 直言，傳統的排行榜要麼靠生硬的數學和程式碼測試題，要麼只依賴一小撮業餘極客的反饋，把完全不同的人群當成鐵板一塊，算出一個籠統的分數，反而丟掉了日常使用的真實細節。

Scale 搬出的底牌是自家的 Outlier 資料標註平臺。他們表示，這次的盲測資料來自覆蓋全球 100 多個國家、70 種語言以及 200 個專業領域的真實使用者。

更關鍵的一點在於使用者畫像的細分。因為依託了已實名認證的標註平臺，Scale 能夠掌握投票者的國籍、學歷水平、職業、語言和年齡。也就是說，你很快能按地區、年齡或者具體職業來篩選榜單，看看同行們到底更喜歡哪款模型。

去年 Scale 曾釋出過 SEAL 排行榜，但當時主要依賴專家評審。這次引入大眾盲測，顯然是想在使用者端建立與 LMArena 分庭抗禮的公信力。

GPT-5 霸榜與兩種裁判標準的碰撞

新榜單上線後的結果耐人尋味。在 SEAL Showdown 當前的排名中，GPT-5 幾乎橫掃了所有基準分類的榜首。

這和 LMArena 的現狀形成了鮮明反差。在 LMArena 上，Google 的 Gemini 2.5 Pro、2.5 Flash 以及影片模型 Veo 3 佔據了多數類別的領先位置。

這種落差立刻引來了業內的審視。LMArena 過去一直被質疑更偏向科技巨頭的前沿閉源模型，對開源生態不夠友好；但 Scale 的這套新機制同樣面臨問號：當普通使用者把票一邊倒投給 GPT-5 時，這到底反映了模型真實的日常體驗優勢，還只是一種受品牌認知影響的主觀喜好？

為什麼重要

我們認為，SEAL Showdown 的出現對整個 AI 評估體系是個及時的攪局者。長期以來，行業陷入了過度迎合單一排行榜的跑分內捲，很多模型在學術基準和程式碼測試裡分數奇高，普通人拿來聊天或寫文案卻覺得生硬冰冷。如果能按受教育程度、語言和職業切分榜單，無論普通使用者還是企業採購，都能少走很多看榜選型的彎路。

Scale 這一步走得相當精明。它直接盤活了自家龐大的 Outlier 標註人員資產，把原本沉重的標註供應鏈變成了面向全行業公開背書的資料護城河，讓基準測試自帶身份驗證門檻。

但這裡的隱患也同樣明顯。基於人類日常偏好的盲測，本質上很容易演變成文風討好度、排版工整度乃至品牌光環的比拼。GPT-5 的全線領跑究竟是因為它在真實任務中更可靠，還是它那套圓滑的對話風格更容易討好大眾打分者，目前還需要打個問號。至少在現階段，把兩個榜單對照著看，依然是看清各家模型真實水平的最佳辦法。