prism-ml 釋出 Bonsai-2：用三值權重將 27B 模型壓到 6GB

Bonsai-2 是 prism-ml 推出的開源極度壓縮模型集合。它把原本龐大的 270 億引數（27B）模型塞進了不到 6GB 的空間裡，讓你在普通中端消費級顯示卡甚至輕薄 Mac 上，也能順暢跑起高質量的大模型。

它怎麼做到壓縮 9 倍的

大模型平時執行要處理非常長的高精度小數權重，極為消耗視訊記憶體。

Bonsai-2 換了一種極端卻聰明的思路，採用了三值權重技術。也就是說，模型內部用到的每一個數值權重，都只能是 -1、0、+1 這三個離散數值之一。

這種限制直接讓模型體積發生了斷崖式下降。作為對照，原始模型體積高達 55.6GB，通常需要極高配置的硬體才能跑動。

而在應用了這套三值壓縮方法後，整個模型被硬生生壓縮到了 5.9GB，體積縮小了 9 倍以上。

更難得的是，根據各類基準測試結果，雖然體積小了這麼多，它的效能表現依然非常接近原始完整模型。

規格與怎麼跑起來

prism-ml 針對不同需求釋出了多種規格和格式。

如果你追求極致的視訊記憶體佔用，可以選擇 Q1 版本，模型大小僅有 5.95GB。

如果你希望獲得更好的生成質量，可以選擇 Q2 版本，體積依然控制在很小的 7.21GB。

在裝置適配上，他們不僅提供了通用權重，還專門為 Apple 裝置提供了 MLX 版本，蘋果電腦使用者拿來就能直接跑。

所有相關模型都已經上傳到 Hugging Face 的 prism-ml/bonsai-2 集合主頁，可以直接下載部署。

為什麼重要

對於想要在本地折騰 AI 的個人開發者和使用者來說，Bonsai-2 解決了最現實的硬體門檻。它讓原本只能在雲端伺服器或高階專業卡上跑的 27B 級別模型，直接變成了普通中端顯示卡或普通 Mac 就能帶動的本地工具。

我們認為，這一步走得很實用。長期以來，大家總擔心極端量化會導致模型能力雪崩，但 Bonsai-2 證明了即便砍掉 90% 的體積，模型依然能保持接近完整的智慧水準。如果你的裝置視訊記憶體有限，又需要較強推理能力，它很值得現在就下載來試一試。