Inclusion AI 推出新排行榜:直接把大模型拉進真實應用裡打分
螞蟻集團旗下的 Inclusion AI 推出大模型基準 Inclusion Arena。不同於實驗室靜態跑分,它直接接入真實應用,在使用者日常對話中隨機觸發盲測,用演算法計算勝率。首期超 50 萬次對決中,Claude 3.7 Sonnet 和 DeepSeek v3 表現靠前。不過目前僅接入了兩款應用。
螞蟻集團旗下的 Inclusion AI 推出大模型基準 Inclusion Arena。不同於實驗室靜態跑分,它直接接入真實應用,在使用者日常對話中隨機觸發盲測,用演算法計算勝率。首期超 50 萬次對決中,Claude 3.7 Sonnet 和 DeepSeek v3 表現靠前。不過目前僅接入了兩款應用。