Strands, 115ms 지연 시간의 오픈소스 의사결정 모델 'Decider 2B' 공개

Strands Decider 2B는 사전 정의된 선택지 중 하나를 고르고 신뢰도 점수를 매기는 작업에만 특화된 20억 파라미터 규모의 오픈소스 의사결정 모델입니다. 대화를 나누거나 긴 글을 생성할 수는 없지만, 판단 속도와 신뢰도 측정에서 탁월한 성능을 발휘합니다.

텍스트 생성을 떼어내고 포인터 헤드로 교체

기존 LLM은 토큰을 하나씩 순차적으로 생성하므로, 단순한 예·아니오 질문에 답할 때도 불필요한 연산 지연이 발생합니다.

Strands 연구진은 Qwen3.5-2B 모델의 몸체를 기반통으로 삼고, 텍스트 생성을 담당하는 LM 헤드를 완전히 제거했습니다. 그 자리에는 옵션 위치의 은닉 상태와 답변 위치의 은닉 상태를 비교해 점수를 매기는 100만 파라미터 수준의 포인터 헤드를 얹었습니다. 본체는 rank-16 LoRA 어댑터로 파인튜닝되었습니다.

모든 연산이 단 한 번의 병렬 포워드 패스로 끝나기 때문에 지연 시간이 대폭 줄어듭니다. 일반적인 Nvidia RTX 3090 그래픽카드에서 측정한 중앙값 지연 시간은 약 115ms에 불과합니다. 외장 GPU가 없는 M3 맥북에서도 가벼운 작업 기준 153ms 안팎으로 작동합니다.

로컬 에이전트의 밀리초 단위 안전장치

Decider 2B는 코딩이나 챗봇, 문서 요약 같은 생성형 작업에는 적합하지 않으며 복잡한 다단계 추론 능력도 부족합니다. 하지만 에이전트 워크플로 안에서 라우팅, 도구 호출 검증, 컨텍스트 관리, 정책 필터링을 수행할 때는 위력을 발휘합니다.

대표적인 활용 예시는 에이전트의 도구 오발주 방지입니다. 사용자가 위치를 밝히지 않고 날씨를 물었을 때, 성급한 에이전트가 임의의 도시를 지어내 날씨 도구를 호출하려 들 수 있습니다. 이때 Decider 2B를 도구 실행 전 단계에 배치하면, 100ms 남짓한 시간 안에 사용자가 도시를 실제로 언급했는지 판단해 잘못된 API 호출을 즉시 차단합니다.

공개 벤치마크인 JevBench에서 Decider 2B는 2B 체급의 33개 모델 중 정확도와 신뢰도 보정 점수에서 3위를 기록했습니다. 2B를 살짝 넘는 모델들을 제외하면 1위에 해당하며, 쉬운 작업군에서는 100% 정답률을 보였습니다.

프로젝트는 GitHub을 통해 코드와 CLI가 공개되었으며 가중치는 Hugging Face에 등록되었습니다. 모델 구축에 사용된 학습 데이터와 스크립트까지 전부 함께 제공됩니다.

왜 중요한가

로컬 환경에서 에이전트를 구축하며 API 지연 시간과 비용으로 골머리를 앓던 개발자라면 지금 바로 도입해 볼 만합니다. 지금까지는 사소한 분기 판단 하나를 위해 수천 토큰짜리 무거운 LLM을 호출하거나 정규식에 의존해야 했습니다.

텍스트 생성 기능을 과감히 버리는 대신 115ms라는 빠른 응답 속도와 정밀한 신뢰도 점수를 확보한 것은 매우 실용적인 접근입니다. 이러한 소형 의사결정 모델은 값비싼 거대 LLM의 부하를 덜어주는 에이전트 아키텍처의 필수 부품으로 자리 잡을 것으로 보입니다.