오픈소스 모델 CLM-8B：System 1 고속 판단, Jev 대비 지연 시간 9배 단축

CLM-8B는 직관적인 빠른 판단, 즉 'System 1' 사고에 특화된 오픈소스 의사결정 모델이다. 기존 거대언어모델처럼 토큰을 하나씩 느리게 생성하는 대신, 대조 학습(Contrastive Learning)을 통해 현재 상태와 실행할 행동을 직접 연결해 도구 호출 분기, 컴퓨터 조작, 에이전트 경로 검증을 초고속으로 수행한다.

AI가 공룡 달리기 게임(Dino Run)을 하거나 화면의 버튼을 클릭할 때는 수백 토큰의 깊은 추론이 필요 없다. 지금 점프할지 숙일지만 즉각 판단하면 된다. 최근 빠른 판단 모델로 주목받은 Jev와 비교했을 때, CLM-8B는 동등한 작업 성공률을 유지하면서도 추론 지연 시간을 최대 9배 줄였다.

작동 원리와 기술적 특징

CLM의 핵심은 상태(State)와 행동(Action)의 분리다. 일반적인 생성형 모델은 후보 행동을 평가할 때마다 전체 텍스트를 다시 연산해야 하지만, CLM은 두 요소를 별도 인코더로 처리해 임베딩을 독립적으로 캐싱한다.

구조적으로는 고정된 오픈소스 Qwen3-8B 임베딩 모델 위에 2,000만 파라미터 수준의 가벼운 투영 헤드를 얹었다. 첫 실행 시 다운로드되는 참조 헤드 파일 크기는 약 75MB에 불과하다. 새로운 입력 상태에 대해 임베딩을 한 번 구하고 나면, 미리 등록된 후보 옵션들과 내적 점수를 계산하는 방식이라 연산 비용이 극히 낮다.

학습은 3단계 파이프라인으로 구성됐다. 약 6,000만 건의 Nemotron Q&A 데이터로 양방향 InfoNCE 대조 사전 학습을 진행한 뒤, Gemini 2.5 Flash-Lite로 생성한 약 3,000만 건의 고난도 오답(Hard Negatives)을 투입해 정밀한 구분 능력을 길렀다. 마지막으로 ADP와 터미널 로그 등 100만 건의 에이전트 궤적 데이터를 통해 사후 학습을 마쳤다. 사후 학습 단계에서 기존 Q&A 데이터를 40% 섞어주는 리플레이 기법을 적용해 기본 분류 성능의 급격한 저하를 막았다.

벤치마크 성과와 실행 방법

복잡한 작업을 평가하는 검증기(Verifier)로서의 성능도 뛰어나다. 생성된 여러 코드 해결책 중 최적의 안을 고르는 테스트에서, 가벼운 미세조정을 거친 CLM-8B는 DeepSWE 38개 과제에서 81.6%, Terminal-Bench 2.1 30개 과제에서 87.6%를 기록하며 SOTA를 달성했다. 실행 속도 또한 Jev 대비 4.1배에서 5.7배 빨랐다.

구동에는 Qwen3-8B 인코더를 올릴 수 있는 GPU가 필요하지만, 공식 테스트 기준으로 단일 RTX 4090 환경에서 원활히 돌아간다. 더 긴 텍스트 입력이 필요하다면 vLLM 옵션을 조정해 컨텍스트 길이를 확장할 수 있다.

코드와 모델 가중치, 미세조정 스크립트는 모두 Apache 2.0 라이선스로 GitHub와 Hugging Face에 공개됐다. pip install contrastive-lm 명령어로 간편하게 설치할 수 있으며, 자체 제공되는 웹 UI를 통해 실시간 확률 분포를 확인하거나 파이썬 API로 에이전트 워크플로에 즉시 연동할 수 있다.

왜 중요한가

에이전트나 도구 라우팅 파이프라인을 구축 중인 개발자라면 꼭 살펴볼 만하다. 에이전트 서비스가 느리고 토큰 비용이 치솟는 가장 큰 이유는 단순한 옵션 선택이나 상태 분류 작업에까지 무거운 추론 모델을 쓰기 때문이다. 이런 직관적 작업을 CLM-8B로 분리해 내면 응답 지연과 인프라 비용을 획기적으로 줄일 수 있다.

동결된 8B 모델 위에 20M 크기의 가벼운 대조 헤드만 붙여 서빙하는 아키텍처는 엔지니어링 관점에서 매우 영리한 접근이다. 복잡한 다단계 논리를 전개하는 System 2 추론을 대체할 수는 없지만, 에이전트의 앞단 라우터나 뒷단 검증기로 활용하기에 가장 현실적이고 효율적인 도구로 보인다.