prism-ml, Bonsai-2 공개: 3진 가중치로 27B 모델을 6GB로 압축

Bonsai-2는 prism-ml이 공개한 오픈소스 초고압축 모델 컬렉션이다. 방대한 270억(27B) 매개변수 모델을 6GB 미만 공간에 압축해, 중급 소비자용 GPU나 가벼운 Mac에서도 고성능 대형 모델을 로컬로 구동할 수 있도록 돕는다.

3진 가중치로 구현한 9배 이상의 압축

일반적인 AI 모델은 긴 소수점 가중치를 다뤄야 하므로 막대한 그래픽 메모리를 소모한다.

Bonsai-2는 3진 가중치 방식을 사용해 문제를 해결했다. 모델이 사용하는 모든 수치를 오직 -1, 0, +1 세 가지 값 중 하나로만 제한하는 기법이다.

이러한 제한 덕분에 메모리 요구량이 극적으로 줄어들었다. 비교를 위해 살펴보면 원본 풀 모델의 용량은 55.6GB에 달했다.

하지만 새로운 3진 압축 기법을 적용한 결과 전체 모델 크기가 단 5.9GB로 줄어들었다. 용량이 9분의 1 이하로 대폭 축소된 셈이다.

더욱 인상적인 점은 각종 벤치마크 테스트에서 원본 풀 모델과 거의 대등한 성능을 그대로 유지하고 있다는 사실이다.

세부 사양과 구동 환경

prism-ml은 사용자의 환경에 맞춰 다양한 사양을 제공한다.

최대한 가벼운 크기를 원한다면 5.95GB 크기의 Q1 버전을 선택하면 된다.

조금 더 나은 출력 품질을 원한다면 Q2 버전을 고를 수 있으며, 이 역시 7.21GB로 여전히 매우 작다.

하드웨어 지원 측면에서는 범용 모델 외에도 Apple 실리콘 기기를 위한 MLX 전용 버전을 함께 공개해 Mac 환경에서도 손쉽게 구동할 수 있다.

해당 모델들은 Hugging Face의 prism-ml/bonsai-2 컬렉션에 공개되어 있어 바로 내려받을 수 있다.

왜 중요한가

로컬 AI를 활용하는 개인 개발자에게 Bonsai-2는 하드웨어 진입 장벽을 완전히 허물어 준다. 고가의 서버나 엔터프라이즈 장비 없이도 중급 GPU와 일반 Mac에서 27B급 추론 모델을 돌릴 수 있게 되었기 때문이다.

극단적인 압축이 모델 성능을 망가뜨릴 것이라는 우려와 달리, 90% 이상의 용량을 덜어내고도 성능을 지켜낼 수 있음을 보여줬다. VRAM 용량이 부족해 더 똑똑한 모델을 쓰지 못했던 로컬 유저라면 지금 당장 받아 테스트해 볼 만하다.