캑터스, Needle 3 공개: 8~29MB 초소형 모델로 스마트워치와 MCU까지 제어

로컬 AI 모델을 구동한다는 이야기를 들으면 대부분 수십 GB의 그래픽 메모리를 갖춘 고성능 하드웨어를 떠올립니다. 아무리 경량화한 모델이라도 보통 몇 기가바이트의 용량을 차지하기 마련입니다. 하지만 스마트워치에 메모를 남기거나 로봇청소기에 "주방은 청소하고 침실은 들어가지 마"라고 명령하는 용도라면, 기기 안에 온갖 지식을 섭렵한 철학자를 탑재할 이유는 전혀 없습니다.

캑터스(Cactus)는 소형 기기에 최적화된 온디바이스 기반 모델 Needle 3을 정식 공개했습니다. 가장 눈에 띄는 점은 놀라운 용량입니다. 모델 전체 바이너리 크기가 8~29MB에 불과하며, 파라미터 수는 2900만에서 1억 2100만 개 수준입니다. 기존의 트랜스포머 대신 자체 개발한 Simple Attention Network 구조를 채택해 초소형 칩에서도 즉각적인 반응을 이끌어냅니다.

일상 대화를 버리고 '도구 호출'에 올인하다

Needle 3이 크기를 획기적으로 줄일 수 있었던 비결은 과감한 선택과 집중입니다. 일상적인 자유 대화나 긴 글 작성 능력을 완전히 배제하는 대신, 도구 호출(Tool calls), 구조화된 데이터 추출, 온디바이스 텍스트 임베딩 기능에 모델의 모든 역량을 쏟아부었습니다.

즉, 잡담은 불가능하지만 하드웨어 제어 명령을 내릴 때는 그 어떤 소형 모델보다 기민하게 작동합니다. 캑터스 발표에 따르면 Needle 3은 모바일 도구 호출 벤치마크에서 자신보다 10배 큰 모델을 앞질렀으며, 데이터 추출 작업에서도 2~3배 큰 모델과 대등한 성적을 냈습니다. 사용자 요청을 받으면 등록된 함수 목록 중 알맞은 기능을 골라 필요한 인자값을 채워 넣고, 처리할 수 없는 요청에는 억지 답변 대신 빈 결과를 반환합니다.

데이터 추출 성능도 뛰어납니다. Pydantic 등으로 원하는 데이터 형식을 선언하고 정제되지 않은 문장을 입력하면 규격화된 JSON 객체를 즉시 반환합니다. 영수증, 예약 알림, 카드 결제 내역 등을 스마트워치나 AR 글래스, 차량 내부 시스템에서 인터넷 연결 없이 완벽하게 로컬로 처리할 수 있습니다.

2층에서 20층까지 기기 맞춤형으로 확장

다양한 사물인터넷(IoT) 장비마다 개별 모델을 따로 훈련하고 포팅하는 것은 개발자에게 큰 부담입니다. Needle 3은 이를 해결하기 위해 '지능 계층화'(Intelligence laddering) 방식을 도입했습니다.

모델의 각 층이 점진적으로 역량이 확장되는 서브 네트워크 구조로 설계되어 있어, 개발자는 하드웨어 연산 능력에 따라 2개 층(2L)부터 20개 층(20L)까지 자유롭게 선택해 활성화할 수 있습니다. 성능이 매우 낮은 마이크로컨트롤러에서는 2개 층만 켜서 배터리를 아끼고, 라즈베리 파이나 스마트폰에서는 더 많은 층을 열어 정확도를 끌어올리는 방식입니다.

3600억 토큰의 구조화 데이터셋으로 학습되었으며, 2비트 CQ2 양자화를 거쳤습니다. 라즈베리 파이 5 기준 프리필 속도는 초당 1000~10000 토큰, 디코드 속도는 초당 400~4000 토큰에 달합니다. 1MB 미만의 가벼운 추론 엔진을 통해 macOS, Windows, Linux, Android, iOS, WebAssembly 등 거의 모든 플랫폼을 즉시 지원합니다. 파인튜닝 역시 간편하여, 4개 층 서브 네트워크를 특정 도메인에 1 에포크만 미세조정해도 DeepSeek V4 Flash에 필적하는 정확도를 냅니다.

왜 중요한가

모두가 거대 언어 모델의 파라미터 경쟁과 멀티모달 기능 확장에 매달리는 상황에서, Needle 3의 행보는 대단히 실용적이며 영리합니다.

그동안 IoT 기기와 웨어러블 장비는 두 가지 난제에 갇혀 있었습니다. 클라우드 대형 모델을 호출해 높은 지연 시간과 서버 비용, 개인정보 유출 위험을 감수하거나, 아니면 정해진 문구가 아니면 알아듣지 못하는 투박한 명령어 인식에 머물러야 했습니다. Needle 3이 도구 호출 진입 장벽을 8MB 수준으로 끌어내리면서, 저렴한 마이크로컨트롤러에서도 자연어를 안정적으로 해석하고 완벽한 오프라인 제어를 수행할 수 있게 되었습니다.

하드웨어 개발자와 1인 개발자에게도 커다란 기회입니다. 복잡한 클라우드 백엔드를 구축할 필요 없이 단 1MB 미만의 런타임과 모델 바이너리를 기기 펌웨어에 직접 탑재하기만 하면 됩니다.

물론 한계는 분명합니다. 상식에 기반한 심층 추론은 아예 기대할 수 없으며, 도구 정의와 스키마가 정교하지 않으면 대형 모델에 비해 예외 처리 대응력이 떨어집니다. 하지만 스마트 전등 스위치나 소형 로봇에 시를 쓰게 할 목적이 아니라면, 지연 없이 확실하게 작동하는 똑똑한 디지털 스위치로서 독보적인 가치를 지닙니다.