PrismML、スマホで動く27Bマルチモーダルモデル「Bonsai 27B」を公開
PrismMLはQwen3.6 27Bベースのマルチモーダルモデル「Bonsai 27B」をApache 2.0で公開した。1ビット版のメモリ使用量はわずか3.9GBで、FP16比で約14分の1に小型化され、iPhone 17 Pro上で毎秒11トークンの推論を実現。クラウド依存だった高度な推論やコード生成をスマホ上で直接実行可能にする。
PrismMLはQwen3.6 27Bベースのマルチモーダルモデル「Bonsai 27B」をApache 2.0で公開した。1ビット版のメモリ使用量はわずか3.9GBで、FP16比で約14分の1に小型化され、iPhone 17 Pro上で毎秒11トークンの推論を実現。クラウド依存だった高度な推論やコード生成をスマホ上で直接実行可能にする。