prism-ml 发布 Bonsai-2:用三值权重将 27B 模型压到 6GB
prism-ml 推出 Bonsai-2 压缩模型集合。团队采用只保留 -1、0、+1 的三值权重技术,将 Qwen 3.8 27B 大小缩减 9 倍以上至 5.9GB,且保留了接近完整的性能,让中端消费级显卡和 Mac 也能跑大模型。
prism-ml 推出 Bonsai-2 压缩模型集合。团队采用只保留 -1、0、+1 的三值权重技术,将 Qwen 3.8 27B 大小缩减 9 倍以上至 5.9GB,且保留了接近完整的性能,让中端消费级显卡和 Mac 也能跑大模型。
PrismML 发布多模态模型 Bonsai 27B,提供 1-bit 和 1.58-bit 两个版本并以 Apache 2.0 开源。1-bit 版本内存占用仅 3.9GB,比 FP16 缩小约 14 倍,可在 iPhone 17 Pro 上跑出每秒 11 token。这意味着原本依赖云端的 27B 级推理与代码能力,现在能脱网在手机本地跑。