Inclusion AI 推出新排行榜:直接把大模型拉进真实应用里打分
蚂蚁集团旗下的 Inclusion AI 推出大模型基准 Inclusion Arena。不同于实验室静态跑分,它直接接入真实应用,在用户日常对话中随机触发盲测,用算法计算胜率。首期超 50 万次对决中,Claude 3.7 Sonnet 和 DeepSeek v3 表现靠前。不过目前仅接入了两款应用。
蚂蚁集团旗下的 Inclusion AI 推出大模型基准 Inclusion Arena。不同于实验室静态跑分,它直接接入真实应用,在用户日常对话中随机触发盲测,用算法计算胜率。首期超 50 万次对决中,Claude 3.7 Sonnet 和 DeepSeek v3 表现靠前。不过目前仅接入了两款应用。