PrismML、スマホで動く27Bマルチモーダルモデル「Bonsai 27B」を公開

Bonsai 27Bは、PrismMLがオープンソースとして公開した低ビットマルチモーダルモデルです。Alibabaのオープンモデル「Qwen3.6 27B」をベースにしており、通常ならクラウドの大型GPUが必要だった27Bクラスの高度な知能を、手元のスマートフォンやノートPC上でそのまま動かせるように作られています。

通常の27.8Bパラメータ（FP16）モデルは、モデルの重みだけで約54GBものメモリを消費します。一般的な4ビット量子化を行っても約18GBあり、スマホはおろか一般的なPCでも動作は困難でした。Bonsai 27Bはこれを極限まで削ぎ落とし、3.9GBの1ビットバイナリ版と、5.9GBの1.58ビット三値（ターナリ）版の2種類を提供しています。

何ができるのか、どうやって縮めたのか

Bonsai 27Bは単なる軽量チャット用のおもちゃではありません。「思考モード（thinking enabled）」を標準で備え、複雑な推論、複数ステップのワークフロー計画、コードの作成やデバッグ、さらにはローカルでの自律エージェントのツール利用までをこなします。テキストだけでなく画像入力にも対応しているため、スマホのスクリーンショットや書類、カメラからの入力をオフラインで直接読み取って処理できます。

劇的な軽量化の秘密は、エンドツーエンドの低ビット設計にあります。通常のニューラルネットワークは重みを長い小数として保持しますが、1.58ビットの三値表現では重みを「-1、0、+1」の3つの値だけに制限します。いわば、接続の細かな強弱を丸暗記する代わりに、信号を弱めるか、そのままにするか、強めるかだけを記録する仕組みです。

情報を削り落としても性能は大きく落ちていません。3.9GBの1ビット版はFP16比で約14分の1に小型化しながらフル精度の90%以上の性能を維持。5.9GBの三値版は約9分の1サイズで95%以上のベンチマーク性能を保持しています。元のQwen3.6がベンチマーク平均で約85%のところ、三値版Bonsaiは80.5%を記録しています。

動作スペックと利用方法

速度面では、iPhone 17 Pro上で1ビット版を動かした場合、毎秒11トークンの生成速度を記録しています。文章を読む速度としては十分実用的な水準です。

また、MacのM5 Maxチップ上では、1ビット版が毎秒87トークン、三値版が毎秒58トークンに達します。モデルはGoogle v5 TPUで訓練され、一般的なCPUやエッジGPUで低遅延に動くよう最適化されています。モデルはApache 2.0ライセンスのもと、GitHub等から誰でも無料でダウンロード可能です。

なぜ重要か

完全なプライバシーを重視する開発者や、通信環境のない場所で本格的なコード生成・推論エージェントを動かしたいユーザーにとって、今すぐ試す価値があるモデルです。これまで「20B以上の実用モデルはAPIを叩くしかない」と思われていた常識を打ち破りました。

もちろん、スマホでの毎秒11トークン動作は端末の発熱やバッテリー消費を伴いますし、わずかな精度の低下もゼロではありません。それでも、従来の2B〜3B程度の簡易的なオンデバイスモデルとは比較にならない思考力を端末ローカルに持ち込める点において、端側AIの基準を一段引き上げたと言えます。