跳到正文
IFAI

大模型

Bespoke Labs 发布决策模型 Nimble-v4:登顶基准榜首,路由决策提升 50%

首次发布 传播指数 47

Bespoke Labs 发布两款决策模型 Nimble-v4 与 Nimble-v4-max。官方称其在 Decision Index 公开基准上击败 Jev 1.13 登顶,内部评测显示错误率降低 43%,模型路由决策提升 50 个百分点,现已开放 API 接口。

Bespoke Labs 发布决策模型 Nimble-v4:登顶基准榜首,路由决策提升 50%
图:x.com

把请求分发给最合适的模型,一直是多模型架构最头疼的环节。Bespoke Labs 刚刚端出了自己的新解法。

9B 参数登顶决策基准榜

Bespoke Labs 宣布推出两款全新决策模型 Nimble-v4 与 Nimble-v4-max,并直接拿下了 Decision Index 公开基准的第一名。

在公开基准对比中,Nimble-v4-max 和 Nimble-v4 面对竞品 Jev 1.13 分别拿到了加 10 分和加 6 分的优势。

官方内部测试显示,两款新模型比 Jev 减少了 43% 的错误,在模型路由决策上的准确率更是直接拔高了 50 个百分点。其中仅有 9B 参数的 Nimble-v4 表现超过了多个更大规模的模型,尤其擅长编程场景、事实核查以及国际象棋。目前两款模型都已经通过 Bespoke Labs 的 API 开放调用。

为什么重要

如果你在搭建复杂的 AI Agent 或多模型路由系统,这类专精决策的小模型非常值得一试。它能帮你挑出性价比最高的模型来跑任务,省下大笔调用昂贵前沿大模型的冤枉钱。

我们认为,Bespoke Labs 的聪明之处在于没有卷通用的生成能力,而是把 9B 这种轻量尺寸做成了极其锋利的调度开关。不过看起来这类基准上的优胜能否转化成实际生产力,关键还得看它在真实业务里处理长尾指令时会不会频繁误判。

来源 (1)

  1. [1]
    x.com(在新标签页打开)原文x.com

每日 AI 内容精选