prism-ml 发布 Bonsai-2：用三值权重将 27B 模型压到 6GB

Bonsai-2 是 prism-ml 推出的开源极度压缩模型集合。它把原本庞大的 270 亿参数（27B）模型塞进了不到 6GB 的空间里，让你在普通中端消费级显卡甚至轻薄 Mac 上，也能顺畅跑起高质量的大模型。

它怎么做到压缩 9 倍的

大模型平时运行要处理非常长的高精度小数权重，极为消耗显存。

Bonsai-2 换了一种极端却聪明的思路，采用了三值权重技术。也就是说，模型内部用到的每一个数值权重，都只能是 -1、0、+1 这三个离散数值之一。

这种限制直接让模型体积发生了断崖式下降。作为对照，原始模型体积高达 55.6GB，通常需要极高配置的硬件才能跑动。

而在应用了这套三值压缩方法后，整个模型被硬生生压缩到了 5.9GB，体积缩小了 9 倍以上。

更难得的是，根据各类基准测试结果，虽然体积小了这么多，它的性能表现依然非常接近原始完整模型。

规格与怎么跑起来

prism-ml 针对不同需求发布了多种规格和格式。

如果你追求极致的显存占用，可以选择 Q1 版本，模型大小仅有 5.95GB。

如果你希望获得更好的生成质量，可以选择 Q2 版本，体积依然控制在很小的 7.21GB。

在设备适配上，他们不仅提供了通用权重，还专门为 Apple 设备提供了 MLX 版本，苹果电脑用户拿来就能直接跑。

所有相关模型都已经上传到 Hugging Face 的 prism-ml/bonsai-2 集合主页，可以直接下载部署。

为什么重要

对于想要在本地折腾 AI 的个人开发者和用户来说，Bonsai-2 解决了最现实的硬件门槛。它让原本只能在云端服务器或高端专业卡上跑的 27B 级别模型，直接变成了普通中端显卡或普通 Mac 就能带动的本地工具。

我们认为，这一步走得很实用。长期以来，大家总担心极端量化会导致模型能力雪崩，但 Bonsai-2 证明了即便砍掉 90% 的体积，模型依然能保持接近完整的智能水准。如果你的设备显存有限，又需要较强推理能力，它很值得现在就下载来试一试。