Bespoke Labs、意思決定モデル「Nimble-v4」を発表：ベンチマーク首位を獲得

複数の AI モデルを使い分けるルーティングの現場に、Bespoke Labs が新しい特化型モデルを投入しました。

9B モデルが決定ベンチマークで首位に浮上

Bespoke Labs は、新しい意思決定モデル Nimble-v4 および Nimble-v4-max を公開し、公開ベンチマーク「Decision Index」で首位を獲得したと発表しました。

競合となる Jev 1.13 との比較では、Nimble-v4-max がプラス 10 ポイント、Nimble-v4 がプラス 6 ポイントを記録しています。

同社の社内評価によると、Jev と比べてエラーが 43% 減少し、モデルルーティングの判断精度は 50 パーセントポイント改善しました。特に 9B パラメータの Nimble-v4 は、より巨大な複数モデルを上回るスコアを示し、コーディング、事実確認、チェスなどの領域で高い性能を発揮しているとのことです。両モデルはすでに同社 API から利用可能になっています。

なぜ重要か

複数の LLM を組み合わせてエージェントを組んでいる開発者にとって、すぐに検証する価値がある選択肢です。軽量な 9B モデルに振り分けを任せることで、高価な大型モデルへの不要なリクエストを減らし、レイテンシとコストを同時に削ることができます。

汎用的なチャット性能を競うのではなく、ルーターとしての意思決定に絞って小型モデルを尖らせた点は非常にクレバーだと私たちは考えます。一方で、ベンチマーク上の数値が実際の複雑で曖昧なプロンプトの現場でも破綻せずに機能するかどうかは、今後の実運用での見極めが必要です。