hunch: 구글 임베딩젬마 2 기반으로 CPU에서 밀리초 단위 의미 판단 구현

hunch는 구글의 EmbeddingGemma 2를 기반으로 개발된 로컬 시맨틱 의사결정 시스템으로, 일반 CPU 환경에서 밀리초 단위로 빠른 판단을 처리하도록 설계되었습니다.

AI 에이전트 환경에서는 도구 호출이 정상적으로 완료되었는지, 프롬프트 인젝션이 포함되어 있는지, 로그에 이상이 발생했는지와 같은 자잘하고 반복적인 검증 작업이 쉴 새 없이 일어납니다. 매번 고성능 LLM을 호출하면 지연 시간이 누적되고 토큰 비용도 빠르게 증가합니다. hunch는 바로 이러한 고빈도 작업을 넘겨받기 위해 만들어졌습니다.

실시간으로 학습하고 작업을 넘겨받는 방식

hunch는 일종의 직관형 시스템(System One)으로, EmbeddingGemma 2와 경량 분류기, 그리고 교사 모델 증류 구조로 작동합니다.

기존에 사용하던 메인 LLM이 '교사' 역할을 하고, hunch 내부의 경량 분류기가 '학생' 역할을 맡습니다. 학생 모델은 EmbeddingGemma 2가 추출한 의미 벡터를 읽어 들여 판단 기준을 익힙니다.

초기에는 모든 질문을 교사 모델이 직접 처리하며 hunch는 데이터를 쌓아가며 학습합니다. 교차 검증을 통해 학생 모델의 답변 일치율이 기준치를 넘어서면 시스템은 '졸업'으로 판정하고, 이후부터는 로컬에서 독자적으로 판단을 내립니다.

졸업 이후에도 감시 장치가 유지됩니다. hunch는 일부 응답을 교사 모델에 보내 지속적으로 검사를 진행하며, 학습 범위를 벗어난 낯선 입력이 들어오면 무리하게 답을 내지 않고 즉시 상위 교사 모델로 작업을 되돌려 보냅니다.

동작 사양과 벤치마크 수치

hunch는 GPU를 전혀 필요로 하지 않습니다. Rust로 작성된 고성능 CPU 엔진인 eg2cpu 위에서 구동되므로 일반 서버나 PC에서도 원활하게 실행됩니다.

Apple M5 Pro 칩 기준으로 약 190개 토큰 분량의 텍스트 결과물을 판단하는 데 걸리는 시간은 22밀리초(p50)에 불과합니다. 이미지 분류는 약 100밀리초 내외로 처리되며, 100만 토큰당 소요 비용은 3센트 미만 수준입니다.

동시 요청 부하 테스트에서는 32개 호출 환경에서 초당 86건의 요청을 처리했고, p99 지연 시간은 466밀리초를 기록했습니다. AMX 가속을 지원하는 24코어 Sapphire Rapids 서버에서는 32토큰 텍스트를 배치 모드로 8계층까지 인코딩하는 데 텍스트당 약 0.6밀리초밖에 걸리지 않았습니다.

프로젝트에는 Python과 TypeScript를 지원하는 hunch.live 라이브러리도 포함되어 있어 텍스트나 웹캠 입력에 맞춘 실시간 선택형 판단 시스템을 손쉽게 구축할 수 있습니다.

설치 방법과 제한 사항

hunch와 eg2cpu 엔진, 예제 코드는 모두 MIT 또는 Apache-2.0 라이선스로 GitHub(undrgrnd-labs/hunch)에 공개되어 있습니다. 기반 모델인 EmbeddingGemma 2 가중치는 Apache-2.0 라이선스를 따릅니다.

로컬에서 실행하려면 Rust 1.88 이상과 Python 패키지 관리자 uv가 필요하며, maturin을 통해 파이썬 확장을 빌드한 뒤 제공되는 다운로드 스크립트로 가중치를 내려받을 수 있습니다.

주의할 점은 hunch가 예/아니오, 다지선다, 점수 매기기 같은 정형화된 판단에 최적화되어 있다는 점입니다. 오류 원인을 심층 분석하거나 해결 담당자를 지정하는 식의 복잡한 간접 추론이 필요한 작업은 여전히 대형 LLM에 맡겨야 합니다.

왜 중요한가

모든 에이전트의 내부 판단을 클라우드 대형 모델에 전적으로 의존하는 구조는 비용과 응답 속도 측면에서 명확한 한계를 지닙니다.

hunch는 고성능 LLM을 교사로 삼아 경량 로컬 모델이 반사 신경처럼 단순 판단을 흡수하도록 만드는 영리한 계층형 아키텍처를 보여줍니다. 추가적인 GPU 투자 없이 기존 CPU 인프라만으로 에이전트의 실행 비용을 대폭 낮추고 로그 모니터링을 실시간화하려는 개발자라면 지금 바로 도입을 검토해 볼 만합니다.