Bespoke Labs 釋出決策模型 Nimble-v4:登頂基準榜首,路由決策提升 50%
Bespoke Labs 釋出兩款決策模型 Nimble-v4 與 Nimble-v4-max。官方稱其在 Decision Index 公開基準上擊敗 Jev 1.13 登頂,內部評測顯示錯誤率降低 43%,模型路由決策提升 50 個百分點,現已開放 API 介面。

把請求分發給最合適的模型,一直是多模型架構最頭疼的環節。Bespoke Labs 剛剛端出了自己的新解法。
9B 引數登頂決策基準榜
Bespoke Labs 宣佈推出兩款全新決策模型 Nimble-v4 與 Nimble-v4-max,並直接拿下了 Decision Index 公開基準的第一名。
在公開基準對比中,Nimble-v4-max 和 Nimble-v4 面對競品 Jev 1.13 分別拿到了加 10 分和加 6 分的優勢。
官方內部測試顯示,兩款新模型比 Jev 減少了 43% 的錯誤,在模型路由決策上的準確率更是直接拔高了 50 個百分點。其中僅有 9B 引數的 Nimble-v4 表現超過了多個更大規模的模型,尤其擅長程式設計場景、事實核查以及國際象棋。目前兩款模型都已經通過 Bespoke Labs 的 API 開放呼叫。
為什麼重要
如果你在搭建複雜的 AI Agent 或多模型路由系統,這類專精決策的小模型非常值得一試。它能幫你挑出價效比最高的模型來跑任務,省下大筆呼叫昂貴前沿大模型的冤枉錢。
我們認為,Bespoke Labs 的聰明之處在於沒有卷通用的生成能力,而是把 9B 這種輕量尺寸做成了極其鋒利的排程開關。不過看起來這類基準上的優勝能否轉化成實際生產力,關鍵還得看它在真實業務裡處理長尾指令時會不會頻繁誤判。
來源 (1)
- x.com(在新分頁開啟)原文x.com