PrismML 釋出 1-bit 模型 Bonsai 27B：首個塞進手機的 27B 多模態大模型

Bonsai 27B 是 PrismML 剛開源的低位元多模態大模型，基於阿里開源的 Qwen3.6 27B 底座打造。它最厲害的地方在於，能把過去必須放在雲端伺服器或高階顯示卡上跑的 27B 級別大模型，直接塞進日常用的智慧手機和筆記型電腦裡。

以往 27.8B 引數的 FP16 原生模型，單是模型權重本身就要吃掉 54GB 左右的記憶體，普通消費級裝置根本吃不消。就算壓到常見的 4-bit 量化，體積也還要 18GB 左右，依然很難在手機上跑起來。Bonsai 27B 這次直接放出了兩個極低位元版本：3.9GB 的 1-bit 二進位制版，以及 5.9GB 的 1.58-bit 三進製版。

它能做什麼，又是怎麼縮小的

Bonsai 27B 不只是個簡單的輕量聊天模型，而是自帶「思考模式」（thinking enabled）的全功能工作模型。它支援文字和圖片輸入，可以在本地處理長鏈條推理、規劃多步驟工作流、寫程式碼排錯，還能看懂手機截圖、文件或者相機拍下來的影像，直接支援本地的 Agent 工具呼叫。

能縮到這麼小，核心在於極端的權重壓縮架構。普通的神經網路權重是精密的長浮點數，比如 0.7342 這樣的一長串小數。而 Bonsai 的 1.58-bit 三進位制方案，把每個權重嚴格限制在 {-1, 0, +1} 三個離散值裡。說白了，它不再死記每個神經元連線的精確強度，只記這個訊號是該抑制、保持不變還是放大，從而把檔案體積砍掉大半。

而且 PrismML 的這套端到端低位元方案，覆蓋了嵌入層、注意力層、MLP 層和輸出層，中間沒有開小差偷用高精度。根據官方資料，3.9GB 的 1-bit 版本體積比原生 FP16 小了約 14 倍，保留了全精度基準得分的 90% 以上；5.9GB 的 1.58-bit 版本比 FP16 小了約 9 倍，跑分能保留 95% 以上。在基準測試裡，原生 Qwen3.6 平均分約 85%，三進製版本依然拿到了 80.5%。

怎麼跑起來與硬體門檻

在裝置支援和執行速度上，官方給出的參考是 iPhone 17 Pro。在這樣一臺手機上，1-bit 版本的 Bonsai 27B 可以跑出每秒 11 token 的生成速度，完全達到了實用的閱讀節奏。

如果你把它放在搭載 M5 Max 晶片的蘋果筆記本上跑，1-bit 版本的吞吐量能飆到每秒 87 token，1.58-bit 版本也能達到每秒 58 token。模型基於 Google v5 TPU 完成訓練，針對消費級 CPU 和邊緣 GPU 的低延遲推理都做了最佳化。

目前 Bonsai 27B 的 1-bit 和 1.58-bit 兩個版本已經完全公開，在 GitHub 等開源平臺採用 Apache 2.0 協議免費提供下載。程式碼倉庫裡給出了完整的在手機和電腦端本地部署執行的指引。

為什麼重要

如果你注重隱私、經常在沒網的環境下幹活，或者正在開發需要低延遲、完全跑在端側的本地 Agent，Bonsai 27B 非常值得現在拉下來試一試。它打破了「想要 20B 以上級別的複雜推理就必須調雲端 API」的固有認知，讓一部手機真正擁有了本地看圖、寫程式碼和規劃任務的實力。

不過也要看到限制。極端的量化畢竟損失了一小部分精度，11 token/s 在手機上也談不上極度飛快，還會帶來不可忽視的發熱和電量消耗。但和同類只能做簡單問答的端側小模型比，Bonsai 27B 證明了開源社群完全有能力把主流開源大模型改造成人人都用得起的本地私有助手，端側 AI 的天花板被實打實往上推了一截。