Stability AI、携帯機器向け30億パラメータモデル「Stable LM 3B」を公開

Stable LM 3Bは、Stability AIがノートPCや携帯端末向けに開発した30億パラメータのコンパクトな言語モデルです。高額なクラウドサーバーに頼ることなく、手元の端末で実用的なテキスト生成を行えます。

業界の主流が7Bから70Bパラメータであるのに対し、Stable LM 3Bはサイズと消費電力を極限まで抑え、低コストかつ環境に配慮した動作を目指して設計されました。

何ができるのか

わずか30億パラメータですが、性能面で侮ることはできません。常識推論や一般知識を測定する自然言語処理ベンチマークにおいて、従来の3Bクラストップのモデルを上回るスコアを記録しています。

さらに、主要なオープンソース7Bモデルの一部をも超える結果を出しています。日常的な文章作成支援はもちろん、特定のプログラミング言語に特化したコード支援や、社内データを学習させたカスタマーサポート窓口などへの応用が可能です。

携帯端末や家庭用PCの限られたリソースでも軽快に動作するため、電力消費を大幅に抑制できます。

仕組みと利用上の注意

この性能を引き出すため、モデルは高品質なデータセットを用いて複数エポックにわたる広範な学習が行われました。高速な動作速度を維持しつつ、テキスト生成能力が大きく引き上げられています。

注意点として、今回公開されたのは実験版の「ベースモデル」です。指示調整や安全対策が施された対話型モデルではないため、チャット機能として直接運用することはできません。

実際のアプリに組み込むには、開発者が用途に応じた微調整を行う必要があります。指示調整済みバージョンは現在安全性テストを実施中とのことです。

モデルの重みはHugging Faceにて、CC-By-SA 4.0ライセンスで今すぐダウンロード可能です。

なぜ重要か

エッジ環境やローカル端末でLLMを動かしたい開発者にとって、試す価値が十分にあるベースモデルです。一般的なノートPCでも容易に微調整を回せるため、検証コストを大幅に下げられます。

7Bクラスの性能に迫る軽量モデルがオープンに提供されることで、オンデバイスAIの実用化とローカル活用のハードルが一気に下がりそうです。