비스포크 랩스, 의사결정 모델 '님블-v4' 공개: 벤치마크 1위 달성

여러 AI 모델을 오가는 라우팅 작업에서 Bespoke Labs가 가벼운 특화 모델로 새로운 대안을 내놓았습니다.

9B 매개변수로 결정 벤치마크 1위 차지

Bespoke Labs는 새로운 의사결정 모델 Nimble-v4와 Nimble-v4-max를 공개하며 공개 벤치마크인 Decision Index에서 1위를 기록했다고 발표했습니다.

경쟁 모델인 Jev 1.13을 상대로 Nimble-v4-max는 10점, Nimble-v4는 6점 더 높은 점수를 얻었습니다.

내부 평가에 따르면 Jev 대비 오류 발생률이 43% 줄었고, 모델 라우팅 결정 정확도는 50%포인트 향상되었습니다. 특히 9B 매개변수 규모의 Nimble-v4는 더 큰 여러 모델들을 제치고 코딩, 팩트체크, 체스 등의 영역에서 뛰어난 성능을 보였습니다. 두 모델 모두 Bespoke Labs의 API를 통해 즉시 사용할 수 있습니다.

왜 중요한가

멀티 에이전트 시스템이나 모델 라우터를 직접 구축하는 개발자라면 지금 바로 테스트해 볼 만합니다. 비싼 프론티어 모델에 무작정 모든 질문을 보내는 대신, 경량화된 9B 의사결정 모델에 배분을 맡기면 지연 시간과 API 비용을 대폭 줄일 수 있습니다.

거대 생성 능력을 다투기보다 라우팅과 의사결정에 집중해 9B급 모델을 날카롭게 다듬은 접근은 매우 영리해 보입니다. 다만 벤치마크 환경과 달리 복잡하고 모호한 실제 프로덕션 환경의 프롬프트에서도 오작동 없이 버텨줄지가 관건입니다.