prism-mlがBonsai-2公開、3値量子化で27Bモデルを6GB未満に圧縮
prism-mlは超圧縮モデル集「Bonsai-2」を公開した。重みを-1、0、+1のみに制限する3値量子化技術により、27B規模のモデルを9分の1以下の5.9GBまで縮小。性能を落とさず、一般的な家庭用GPUやMacで手軽に動作させられる。
prism-mlは超圧縮モデル集「Bonsai-2」を公開した。重みを-1、0、+1のみに制限する3値量子化技術により、27B規模のモデルを9分の1以下の5.9GBまで縮小。性能を落とさず、一般的な家庭用GPUやMacで手軽に動作させられる。