Inclusion AI 推出新排行榜:直接把大模型拉進真實應用裡打分
螞蟻集團旗下的 Inclusion AI 推出大模型基準 Inclusion Arena。不同於實驗室靜態跑分,它直接接入真實應用,在使用者日常對話中隨機觸發盲測,用演算法計算勝率。首期超 50 萬次對決中,Claude 3.7 Sonnet 和 DeepSeek v3 表現靠前。不過目前僅接入了兩款應用。
螞蟻集團旗下的 Inclusion AI 推出大模型基準 Inclusion Arena。不同於實驗室靜態跑分,它直接接入真實應用,在使用者日常對話中隨機觸發盲測,用演算法計算勝率。首期超 50 萬次對決中,Claude 3.7 Sonnet 和 DeepSeek v3 表現靠前。不過目前僅接入了兩款應用。
據報道,國內監管部門收緊對 ChatGPT 的訪問限制,騰訊等平臺上的第三方接入程式相繼下架。官媒此前警示其可能傳播不實資訊。目前百度、阿里等大廠正加速研發國產對話機器人,百度的文心一言預計將於 3 月推出。