PrismML, 스마트폰에서 구동되는 1비트 멀티모달 모델 'Bonsai 27B' 공개

Bonsai 27B는 PrismML이 오픈소스로 공개한 초경량 저비트 멀티모달 모델입니다. 알리바바의 오픈 모델인 Qwen3.6 27B를 기반으로 제작되었으며, 대형 클라우드 서버에서나 돌아가던 27B급 인공지능을 사용자의 스마트폰과 노트북에서 직접 구동할 수 있도록 설계되었습니다.

원래 27.8B 파라미터를 갖춘 FP16 모델은 가중치 저장에만 약 54GB의 메모리를 차지합니다. 통상적인 4비트 양자화를 거쳐도 약 18GB에 달해 일반 스마트폰이나 보급형 PC에서는 엄두를 내기 어려웠습니다. Bonsai 27B는 이를 파격적으로 압축하여 3.9GB 크기의 1비트 바이너리 버전과 5.9GB 크기의 1.58비트 삼진(Ternary) 버전 두 가지로 선보였습니다.

무엇을 할 수 있고 어떻게 줄였나

Bonsai 27B는 단순한 대화형 데모가 아닌 실제 엔지니어링 작업을 염두에 두고 만들어졌습니다. 생각 모드(thinking enabled)가 기본 활성화되어 복잡한 추론, 다단계 업무 계획 수립, 코드 작성 및 디버깅, 도구 호출 기반의 에이전트 워크플로를 처리합니다. 또한 텍스트뿐만 아니라 이미지 입력까지 지원하므로 기기 내 스크린샷, 문서, 카메라 촬영 이미지를 인터넷 연결 없이 로컬에서 바로 분석할 수 있습니다.

이렇게 크기를 줄일 수 있었던 비결은 엔드투엔드 저비트 아키텍처에 있습니다. 일반적인 모델 가중치가 소수점 이하의 정밀한 숫자로 저장되는 반면, 1.58비트 삼진 모델은 각 가중치를 {-1, 0, +1} 세 가지 값 중 하나로만 고정합니다. 연결의 세밀한 강도를 일일이 기억하는 대신, 신호를 낮출지, 무시할지, 높일지만 단순하게 기록하는 방식입니다.

크기를 획기적으로 줄였음에도 성능 손실은 크지 않습니다. 3.9GB 크기의 1비트 모델은 FP16 대비 약 14배 작으면서도 기본 성능의 90% 이상을 유지합니다. 5.9GB 크기의 삼진 모델은 약 9배 작아진 상태에서 95% 이상의 벤치마크 성능을 냅니다. 원본 Qwen3.6의 평균 벤치마크 점수가 약 85%일 때, 삼진 모델은 80.5%를 기록했습니다.

구동 사양과 설치 방법

하드웨어 구동 속도의 경우, 아이폰 17 프로에서 1비트 모델 기준으로 초당 11토큰의 생성 속도를 보입니다. 사람이 텍스트를 읽어나가기에 무리 없는 속도입니다.

M5 Max 칩이 탑재된 노트북 환경에서는 1비트 모델이 초당 87토큰, 삼진 모델이 초당 58토큰의 처리량을 기록합니다. Google v5 TPU로 학습되었으며, 일반 소비자용 CPU와 엣지 GPU에서 지연 시간 없이 동작하도록 최적화되었습니다. 두 버전 모두 Apache 2.0 라이선스로 배포되어 깃허브(GitHub) 등에서 누구나 무료로 내려받아 기기에 설치할 수 있습니다.

왜 중요한가

데이터 프라이버시가 절대적으로 중요한 작업을 하거나 인터넷이 없는 환경에서 작동하는 자율 코딩 에이전트를 구축하려는 사용자라면 지금 당장 테스트해 볼 만합니다. 고성능 27B급 추론은 무조건 클라우드 API를 호출해야 한다는 기존의 상식을 깨뜨렸습니다.

물론 스마트폰에서 초당 11토큰 구동은 발열과 배터리 소모를 피하기 어렵고, 극단적 양자화에 따른 미세한 정확도 저하도 감안해야 합니다. 하지만 간단한 질문 답변만 겨우 처리하던 기존 2B~3B급 온디바이스 모델들과 비교하면, 손안의 스마트폰에서 실질적인 멀티모달 추론과 코딩 작업을 완결 지을 수 있게 되었다는 점에서 의미가 큽니다.