Stability AI、3B規模で7B超えのコード特化LLM「Stable Code Instruct 3B」公開

Stable Code Instruct 3Bは、Stability AIがStable Code 3Bをベースに開発した指示チューニング済みのコード特化型言語モデルです。わずか30億パラメータでありながら、自然言語プロンプトを使ったコード生成や補完、数学的推論、開発関連の質問対応をこなします。

何ができるのか

このモデルは単なるコード補完ツールにとどまりません。指示チューニングが施されているため、ニュアンスを含んだ自然言語の指示を的確に理解できます。

Stack Overflowの2023年開発者調査をベースに、Python、JavaScript、Java、C、C++、Goといった主要言語に重点を置いて学習されています。さらにSQL、PHP、Rustなどもカバーしています。

興味深い点として、初期の学習データに含まれていなかったLuaのような言語でも高いテスト結果を示しています。根底にあるプログラミング構造を理解し、未知の環境へ応用できているためと説明されています。

コード生成だけでなく、FIM（Fill in the Middle：中間穴埋め）タスク、データベースクエリの作成、コード翻訳や解説など、開発現場の多様な作業に対応可能です。

7Bモデルを凌駕するベンチマーク性能

3Bという軽量サイズでありながら、出力性能は大型モデルに引けを取りません。

Multi-PLベンチマークにおいて、Stable Code Instruct 3Bはパラメータ数が倍以上あるCodeLlama 7B Instructをすべての主要言語で上回りました。DeepSeek-Coder Instruct 1.3Bにも大差をつけています。

さらにソフトウェアエンジニアリング関連タスクでは、150億パラメータを持つStarChat 15Bと同等水準のスコアを記録しています。

極めて軽量な設計のため、高価なGPUサーバーを用意することなく、一般的なPCやローカル環境で軽快に動作させることができます。

入手方法とライセンス

モデルの重みとコードはすでにHugging Face上で公開されており、詳細な技術レポートも確認できます。

非商用利用であれば無償でダウンロードして即座に試すことが可能です。一方で、商用利用を行う場合はStability AI Membershipへの加入が必要となります。

なぜ重要か

社内コードを外部APIに送りたくない個人開発者や少人数の開発チームにとって、ローカル環境で快適に動くこのモデルは有力な選択肢になります。7Bクラスの精度を保ったまま、ノートPCの限られたメモリでサクサク動かせる利便性は大きいです。

高品質なデータと指示チューニングさえあれば、3B規模でも前世代の7Bモデルを十分に圧倒できることを証明した好例と言えます。ただし商用展開にはメンバーシップ契約が必要となるため、製品への組み込みを考えているチームはライセンス面のコストをあらかじめ考慮しておく必要があります。