prism-mlがBonsai-2公開、3値量子化で27Bモデルを6GB未満に圧縮

Bonsai-2は、prism-mlが公開したオープンソースの超圧縮モデルコレクションだ。270億パラメータ（27B）規模のモデルを6GB未満にまで縮小し、一般的なミドルレンジGPUやMac上で手軽にローカル実行できるようにする。

3値量子化で9分の1以下に圧縮

通常の大規模モデルは長い小数の重みを演算するため、膨大なメモリを消費する。

Bonsai-2は「3値重み」と呼ばれる手法を採用している。モデルが使用するすべての数値を、-1、0、+1の3つの値のみに限定する仕組みだ。

これによりメモリ消費量を劇的に抑えることができる。元のフルモデルは55.6GBという巨大なサイズだった。

今回の3値圧縮アプローチによって、モデル全体がわずか5.9GBにまで抑えられ、サイズは9分の1以下になった。

何より重要なのは、これほど極端に削ぎ落とされたにもかかわらず、各種ベンチマークにおける性能が元のフルモデルに極めて近い水準を維持している点だ。

スペックと動かし方

prism-mlは環境や用途に合わせて複数の選択肢を用意している。

容量を限界まで削りたい場合は、わずか5.95GBのQ1バージョンが適している。

もう少し品質を重視したい場合はQ2バージョンを選ぶことができ、こちらも7.21GBと十分コンパクトだ。

さらにApple製チップを搭載したMac向けにMLXフォーマット版も提供されており、ユニファイドメモリ環境でそのまま動かせる。

モデル群はHugging Faceのprism-ml/bonsai-2コレクションページから直接入手可能だ。

なぜ重要か

ローカル環境でAIを動かしたいユーザーにとって、27Bクラスの知能をミドルレンジGPUや市販のMacで動かせる実用的な価値は非常に大きい。

極端な量子化は性能を大幅に劣化させるという先入観があったが、Bonsai-2は容量を9割削っても実用水準の精度を保てることを示した。マシンのVRAM不足に悩んでいるなら、すぐに試してみる価値がある。