Inclusion AI 推出新排行榜:直接把大模型拉进真实应用里打分
蚂蚁集团旗下的 Inclusion AI 推出大模型基准 Inclusion Arena。不同于实验室静态跑分,它直接接入真实应用,在用户日常对话中随机触发盲测,用算法计算胜率。首期超 50 万次对决中,Claude 3.7 Sonnet 和 DeepSeek v3 表现靠前。不过目前仅接入了两款应用。
蚂蚁集团旗下的 Inclusion AI 推出大模型基准 Inclusion Arena。不同于实验室静态跑分,它直接接入真实应用,在用户日常对话中随机触发盲测,用算法计算胜率。首期超 50 万次对决中,Claude 3.7 Sonnet 和 DeepSeek v3 表现靠前。不过目前仅接入了两款应用。
据报道,国内监管部门收紧对 ChatGPT 的访问限制,腾讯等平台上的第三方接入程序相继下架。官媒此前警示其可能传播不实信息。目前百度、阿里等大厂正加速研发国产对话机器人,百度的文心一言预计将于 3 月推出。