prism-ml, Bonsai-2 공개: 3진 가중치로 27B 모델을 6GB로 압축
prism-ml이 극도로 압축된 모델 컬렉션 Bonsai-2를 공개했다. 가중치를 -1, 0, +1만 사용하는 3진 양자화 기법으로 27B 크기 모델을 9분의 1 수준인 5.9GB로 줄였으며, 원본에 가까운 성능을 유지해 일반 소비자용 GPU와 Mac에서도 원활히 구동된다.
prism-ml이 극도로 압축된 모델 컬렉션 Bonsai-2를 공개했다. 가중치를 -1, 0, +1만 사용하는 3진 양자화 기법으로 27B 크기 모델을 9분의 1 수준인 5.9GB로 줄였으며, 원본에 가까운 성능을 유지해 일반 소비자용 GPU와 Mac에서도 원활히 구동된다.