Stability AI、初のコーディング特化モデル「Stable Code Alpha」を発表

画像生成AIで知られるStability AIが、プログラミング支援の領域へ本格参入しました。

同社は、同社初となるコーディング特化型の生成AIモデル「Stable Code Alpha 3B」を発表しました。日々の開発業務の効率化だけでなく、プログラミング学習者のスキル向上を支援するツールとして位置づけられています。

パラメータ数は30億（3B）と軽量ですが、単一のモデルではなく、役割の異なる3種類のモデルを組み合わせて提供する構成をとっています。

3つのモデル構成と5600億トークンの学習

Stable Code Alphaは、ベースモデル、指示チューニング（Instruction）モデル、そして長文コンテキストモデルの3本柱で構成されています。

まずベースモデルは、BigCodeの「stack-dataset (v1.2)」をもとに、Python、Go、Java、JavaScript、C、C++、Markdownといった主要言語で追加学習が行われました。同社のHPCクラスタを用い、合計5600億トークンものコードデータが投入されています。

このベースをもとに、より複雑なプログラミング指示に対応できるよう作られたのが指示モデルです。Alpacaフォーマットに準拠した約12万件のコード指示・応答ペアを用いてファインチューニングが施されています。

16kトークンの文脈長で5つのファイルを同時に参照

もう一つの大きな特徴が、単行および複数行のコード自動補完を担う長文コンテキストモデルです。

コンテキストウィンドウは16000（16k）トークンに対応しており、これは過去に公開された同等規模のオープンモデルと比べて2〜4倍の長さです。標準的なサイズのPythonファイルであれば、最大で約5つ分を丸ごと読み込ませてレビューや編集提案を受けることができます。

評価には標準的なHumanEvalベンチマークが使われ、pass@1およびpass@10の指標で同等パラメータ規模のモデルとの比較が行われています。

なぜ重要か

最大のポイントは、3Bという手頃なパラメータサイズに収めた点にあります。巨大なクラウド型モデルを使わなくても、一般的なコンシューマー向けGPUを載せたPCでローカル稼働させられる現実的なサイズ感です。

機能を1つに詰め込まず、補完用には16kトークンの長文モデル、対話用には12万件の指示データでチューニングしたモデルと切り分けた設計は非常に合理的です。コード補完で最もストレスになる「別ファイルのコンテキストを見失う問題」に対し、軽量モデルでありながら5ファイル分の広さを確保したのは実用的なアプローチと言えます。

一方で、3Bというサイズゆえに、複雑なアーキテクチャの設計やマイナーな言語での論理的推論には自ずと限界があります。16kの長さを活かして破綻なくコードを生成できるかは慎重に見極める必要がありますが、ローカルで動く開発アシスタントの選択肢として注目の動きです。