Inclusion AI 推出新排行榜：直接把大模型拉進真實應用裡打分

每次大模型發新版本，官方都會貼出一堆 MMLU 或者各種基準測試的高分圖。但如果你在實際業務裡調過 API 就會發現，實驗室做題拿滿分的模型，上線跟真實使用者聊兩句可能就露怯。

實驗室裡刷榜，和真實生產環境幹活，完全是兩碼事。

螞蟻集團旗下的 Inclusion AI 最近發了一篇論文，提出了一個叫 Inclusion Arena 的即時排行榜。他們的思路很直接：別在實驗室裡做題了，直接去真實的線上應用裡看模型表現。

把盲測擂臺塞進真實 App

像 Chatbot Arena 這類平臺，主要靠網友主動去網頁上提問並盲測投票。Inclusion Arena 則換了種打法，把測試探針直接埋進了第三方應用裡。

系統目前接入了兩個真實產品，一個是角色扮演聊天應用 Joyland，另一個是教育溝通應用 T-Box。普通使用者在裡面正常發訊息，系統會在後臺悄悄把提示詞發給多個大模型。

模型生成不同的回答後，使用者挑選自己最喜歡的一個，但整個過程使用者並不知道背後是誰在回答。這就把模型評測變成了真實業務裡的 A/B 測試。

截至 2025 年 7 月，Inclusion AI 從這兩個應用裡的 46611 位活躍使用者身上，收集了 501003 次成對比較資料。

早期排名的頭部位置被幾家明星模型包攬。排在最前面的是 Anthropic 的 Claude 3.7 Sonnet，緊隨其後的是 DeepSeek v3-0324、Claude 3.5 Sonnet、DeepSeek v3 以及百鍊的 Qwen Max-0125。

避開下圍棋的 Elo 演算法

大多數競技榜單喜歡用國際象棋的 Elo 積分系統，Chatbot Arena 也同時在使用。但 Inclusion AI 認為，Elo 在面對模型數量暴增時波動較大，因此他們選用了 Bradley-Terry 機率模型來推算模型的潛在能力，讓打分更穩定。

不過，隨著接入的模型越來越多，讓所有模型窮舉兩兩對決，計算成本高得嚇人。

為了省算力和時間，他們加了兩套機制。一套是排位賽機制，新模型剛來時先快速測幾輪，估算出初始大概排名；另一套叫近鄰取樣，只把實力相近、在同一個置信區間的模型湊在一起比，最大化每次對比的資訊量。

團隊也坦白，目前接入的應用數量確實很少。他們接下來計劃成立一個開放聯盟，拉更多實際應用進來擴充生態。

為什麼重要

對企業和開發者來說，現在的模型排行榜實在太多了，而且絕大多數靜態榜單已經被各家廠商刷透。能看到真實使用者在多輪對話裡的盲測偏好，選型時多了一份貼近實戰的參考。

但我們認為，現在完全照著這個榜單做決策還為時過早。目前的樣本全來自角色扮演和教育溝通這兩個特定場景，測出來的是聊天沉浸感和輔導語氣，代表不了企業級搜尋、複雜程式碼編寫或金融分析能力。

在行業層面，它指出了評測進化的必然方向。眾包測試網站裡充斥著大量懂技術的 AI 發燒友在故意刁難模型，而商業落地真正服務的是普通消費級使用者，兩者的偏好截然不同。

螞蟻這套做法聰明在借用了真實流量，既不給使用者額外負擔，又能拿到高質量反饋。但它的命門也在於盟友規模。如果無法拉來辦公協同、工具助手等更多維度的 App 進駐，這個擂臺很容易侷限在特定娛樂圈子裡，難以成為通用的行業度量衡。