앤트, 50.7ms 추론 속도의 4B 의사결정 모델 'LemonDecider' 오픈소스 공개
앤트가 Qwen3.5-4B 기반의 전용 의사결정 모델 LemonDecider를 오픈소스로 공개했습니다. 텍스트 생성 없이 선택, 진위 판단, 점수 매기기를 직접 출력하며 한 번의 연산으로 여러 질문을 처리합니다. 중위 추론 시간 50.7ms로 Jev 1.14를 제쳤으며 120만 건의 학습 데이터도 함께 공개했습니다.
LemonDecider는 앤트가 Qwen3.5-4B를 기반으로 훈련해 오픈소스로 공개한 4B 전용 의사결정 모델입니다. 텍스트 답변을 길게 생성하지 않고 구조화된 판단 결과를 즉시 출력합니다.
주요 기능과 작동 방식
지원하는 출력 형식은 세 가지입니다. 도구나 워크플로를 선택하는 Choice, 조건 충족 여부나 증거의 타당성을 가리는 Yes/No, 검색 관련성과 콘텐츠 품질을 평가하는 Score입니다.
하나의 문맥에서 여러 질문을 묶어 처리하는 기능도 갖췄습니다. 허용 길이 안에서 단 한 번의 순방향 연산으로 다수의 결정을 동시에 내려, 동일한 배경 문맥을 반복해서 계산하는 낭비를 줄였습니다.
Decision Index 0.4.1 Public 벤치마크에서 LemonDecider 4B는 61.67점을 받아 Jev 1.14의 60.70점을 넘어섰습니다. 약 14만 건의 테스트 요청 기준 중위 추론 시간은 50.7ms였습니다. 앤트는 의도 파악과 도구 라우팅 등 864개 작업 태그를 담은 120만 건의 학습 데이터셋과 훈련 코드도 함께 공개했습니다.
왜 중요한가
에이전트를 만들 때 단순한 도구 분기나 이진 필터링에 거대 모델을 쓰고 있었다면, 이 모델을 지연 시간 낮은 라우팅 게이트웨이로 배치하기 좋습니다. 4B 크기와 50ms 안팎의 추론 속도는 토큰 비용과 대기 시간을 크게 줄여줍니다.
더 가치 있는 부분은 120만 건의 의사결정 특화 데이터셋과 훈련 코드를 통째로 풀었다는 점입니다. 자체 인프라에서 가벼운 분류 및 라우팅 모델을 직접 미세조정하려는 팀에게 훌륭한 실전 교재가 될 수 있습니다.
출처 (1)
- @aigclink(새 탭에서 열림)원문x.com