prism-mlがBonsai-2公開、3値量子化で27Bモデルを6GB未満に圧縮
prism-mlは超圧縮モデル集「Bonsai-2」を公開した。重みを-1、0、+1のみに制限する3値量子化技術により、27B規模のモデルを9分の1以下の5.9GBまで縮小。性能を落とさず、一般的な家庭用GPUやMacで手軽に動作させられる。
prism-ml
PrismML、スマホで動く27Bマルチモーダルモデル「Bonsai 27B」を公開
PrismMLはQwen3.6 27Bベースのマルチモーダルモデル「Bonsai 27B」をApache 2.0で公開した。1ビット版のメモリ使用量はわずか3.9GBで、FP16比で約14分の1に小型化され、iPhone 17 Pro上で毎秒11トークンの推論を実現。クラウド依存だった高度な推論やコード生成をスマホ上で直接実行可能にする。