캑터스, 45M 초소형 모델 Needle 2 공개: 28MB 램으로 구동

Cactus Needle 2는 4500만 파라미터에 불과한 초경량 온디바이스 AI 모델입니다. GPU가 없는 저사양 기기에서도 오프라인 상태로 가볍게 구동되며, 도구 호출과 하드웨어 제어에 특화되어 있습니다.

아무리 작게 나온 오픈소스 모델이라도 보통 수십억 파라미터 크기라 몇 기가바이트의 VRAM이 필수입니다. 하지만 라즈베리 파이나 보급형 기기에서는 이런 환경을 갖추기 어렵습니다. Needle 2는 바로 이런 하드웨어 한계를 깨기 위해 만들어졌습니다.

무엇을 할 수 있나

Needle 2는 OpenAI 규격의 함수 호출을 비롯해 기기 제어 명령을 실행하거나 텍스트에서 필요한 정보를 추출하는 단일 작업에 최적화되어 있습니다.

파라미터가 45M 수준인 만큼 복잡한 추론이나 긴 호흡의 자율 에이전트 작업을 기대하기는 어렵습니다. 그런 작업을 시키면 성능의 한계가 곧바로 드러납니다.

하지만 대화형 AI가 아니라 음성이나 텍스트 명령을 받아 하드웨어 동작으로 바로 연결해 주는 신호 변환기 역할로는 충분한 실용성을 보여줍니다.

극단적인 경량화와 빠른 속도

하드웨어 요구 사양이 매우 낮습니다. 전체 모델이 14MB 크기의 바이너리 하나로 패키징되어 있으며, 실행할 때 차지하는 램은 약 28MB에 불과합니다.

GPU 메모리가 전혀 필요 없기 때문에 저전력 CPU만으로 구동할 수 있습니다. 모델 크기가 극도로 작다 보니 디코딩 속도 역시 압도적입니다.

라즈베리 파이 5에서는 초당 500토큰을 뽑아내고, 200달러 미만의 저가형 스마트폰에서도 초당 700토큰 수준으로 동작합니다. VR 기기에서는 초당 최대 1500토큰까지 속도가 올라갑니다.

이 같은 성능은 C와 C++ 기반으로 구축된 전용 오픈소스 Cactus 엔진 덕분입니다. ARM NEON SIMD 커널과 제로카피 계산 그래프, 자체 회전 양자화 기술을 탑재했고, 로컬 모델의 신뢰도가 낮을 때 클라우드 대형 모델로 질의를 넘기는 하이브리드 핸드오프 기능도 지원합니다.

실행 방법

프로젝트는 깃허브에 모두 공개되어 있어 바로 테스트해 볼 수 있습니다. Mac 사용자라면 Homebrew를 통해 brew install cactus-compute/cactus/cactus 명령어로 즉시 설치할 수 있습니다.

리눅스 환경에서는 cactus-compute/cactus 저장소를 복제한 뒤 셋업 스크립트를 실행하고, cactus run Cactus-Compute/needle 명령을 입력하면 도구 호출 데모가 동작합니다.

cactus serve 명령어를 사용하면 로컬에 OpenAI 호환 HTTP 엔드포인트가 열려 다른 소프트웨어와 쉽게 연동할 수 있습니다.

왜 중요한가

스마트홈 기기나 임베디드 로봇, 사물인터넷 하드웨어를 다루는 개발자라면 Needle 2를 당장 테스트해 볼 가치가 충분합니다. 수십 메가바이트 램만 남은 초저가 보드에서도 클라우드 통신비나 지연 시간 없이 즉각 반응하는 로컬 제어 인터페이스를 구축할 수 있기 때문입니다.

범용 지능 순위 경쟁을 포기하고 현장 엣지 기기의 도구 호출에만 집중해 체급을 줄인 선택은 매우 영리해 보입니다. 복잡한 작업은 처리하지 못한다는 명확한 한계가 있지만, 로컬 트리거 장치로서 엣지 AI의 실용적인 기준점을 보여줍니다.