PrismML 发布 1-bit 模型 Bonsai 27B：首个塞进手机的 27B 多模态大模型

Bonsai 27B 是 PrismML 刚开源的低比特多模态大模型，基于阿里开源的 Qwen3.6 27B 底座打造。它最厉害的地方在于，能把过去必须放在云端服务器或高端显卡上跑的 27B 级别大模型，直接塞进日常用的智能手机和笔记本电脑里。

以往 27.8B 参数的 FP16 原生模型，单是模型权重本身就要吃掉 54GB 左右的内存，普通消费级设备根本吃不消。就算压到常见的 4-bit 量化，体积也还要 18GB 左右，依然很难在手机上跑起来。Bonsai 27B 这次直接放出了两个极低比特版本：3.9GB 的 1-bit 二进制版，以及 5.9GB 的 1.58-bit 三进制版。

它能做什么，又是怎么缩小的

Bonsai 27B 不只是个简单的轻量聊天模型，而是自带「思考模式」（thinking enabled）的全功能工作模型。它支持文字和图片输入，可以在本地处理长链条推理、规划多步骤工作流、写代码排错，还能看懂手机截屏、文档或者相机拍下来的图像，直接支持本地的 Agent 工具调用。

能缩到这么小，核心在于极端的权重压缩架构。普通的神经网络权重是精密的长浮点数，比如 0.7342 这样的一长串小数。而 Bonsai 的 1.58-bit 三进制方案，把每个权重严格限制在 {-1, 0, +1} 三个离散值里。说白了，它不再死记每个神经元连接的精确强度，只记这个信号是该抑制、保持不变还是放大，从而把文件体积砍掉大半。

而且 PrismML 的这套端到端低比特方案，覆盖了嵌入层、注意力层、MLP 层和输出层，中间没有开小差偷用高精度。根据官方数据，3.9GB 的 1-bit 版本体积比原生 FP16 小了约 14 倍，保留了全精度基准得分的 90% 以上；5.9GB 的 1.58-bit 版本比 FP16 小了约 9 倍，跑分能保留 95% 以上。在基准测试里，原生 Qwen3.6 平均分约 85%，三进制版本依然拿到了 80.5%。

怎么跑起来与硬件门槛

在设备支持和运行速度上，官方给出的参考是 iPhone 17 Pro。在这样一台手机上，1-bit 版本的 Bonsai 27B 可以跑出每秒 11 token 的生成速度，完全达到了实用的阅读节奏。

如果你把它放在搭载 M5 Max 芯片的苹果笔记本上跑，1-bit 版本的吞吐量能飙到每秒 87 token，1.58-bit 版本也能达到每秒 58 token。模型基于 Google v5 TPU 完成训练，针对消费级 CPU 和边缘 GPU 的低延迟推理都做了优化。

目前 Bonsai 27B 的 1-bit 和 1.58-bit 两个版本已经完全公开，在 GitHub 等开源平台采用 Apache 2.0 协议免费提供下载。代码仓库里给出了完整的在手机和电脑端本地部署运行的指引。

为什么重要

如果你注重隐私、经常在没网的环境下干活，或者正在开发需要低延迟、完全跑在端侧的本地 Agent，Bonsai 27B 非常值得现在拉下来试一试。它打破了「想要 20B 以上级别的复杂推理就必须调云端 API」的固有认知，让一部手机真正拥有了本地看图、写代码和规划任务的实力。

不过也要看到限制。极端的量化毕竟损失了一小部分精度，11 token/s 在手机上也谈不上极度飞快，还会带来不可忽视的发热和电量消耗。但和同类只能做简单问答的端侧小模型比，Bonsai 27B 证明了开源社区完全有能力把主流开源大模型改造成人人都用得起的本地私有助手，端侧 AI 的天花板被实打实往上推了一截。