PrismML 釋出 1-bit 模型 Bonsai 27B：首個塞進手機的 27B 多模態大模型
PrismML 釋出多模態模型 Bonsai 27B，提供 1-bit 和 1.58-bit 兩個版本並以 Apache 2.0 開源。1-bit 版本記憶體佔用僅 3.9GB，比 FP16 縮小約 14 倍，可在 iPhone 17 Pro 上跑出每秒 11 token。這意味著原本依賴雲端的 27B 級推理與程式碼能力，現在能脫網在手機本地跑。
PrismML 釋出多模態模型 Bonsai 27B，提供 1-bit 和 1.58-bit 兩個版本並以 Apache 2.0 開源。1-bit 版本記憶體佔用僅 3.9GB，比 FP16 縮小約 14 倍，可在 iPhone 17 Pro 上跑出每秒 11 token。這意味著原本依賴雲端的 27B 級推理與程式碼能力，現在能脫網在手機本地跑。