Stability AI、初の日本語LLM「Japanese StableLM Alpha」を公開

Japanese StableLM Alpha は、Stability AI がリリースした日本語特化の70億パラメータ（7B）大規模言語モデルです。ローカル環境で動かせる実用的な日本語LLMを探している開発者にとって、即座に試す価値のあるオープンモデルが登場しました。

公開されたのは、汎用的なテキスト生成を担う「Japanese StableLM Base Alpha 7B」と、指示応答に特化した「Japanese StableLM Instruct Alpha 7B」の2種類です。

技術仕様とベンチマーク性能

モデルは EleutherAI の GPT-NeoX を拡張した環境で学習され、アーキテクチャには SwiGLU や xPos などの最新技術が採用されています。累計の学習トークン数は7500億に達します。

学習データは主にWebから収集された日本語と英語のテキストで構成され、約2%のソースコードも含まれています。公開データセットに加え、Stability AI Japan や EleutherAI Polyglot プロジェクトの日本語チーム、コミュニティが共同作成したデータセットが活用されました。

性能面では、EleutherAI の lm-evaluation-harness を用いた文章分類、質疑応答、要約など8つのタスクで評価されています。Instruct版の平均スコアは54.71を記録し、比較対象となった他の4つの日本語オープンモデルを大きく上回る結果を示しました。

ライセンスと利用方法

両モデルとも Hugging Face Hub 上で公開されており、推論や追加学習をすぐに試すことができます。

利用にあたって注意したいのがライセンスの違いです。Baseモデルは商用利用が可能な Apache License 2.0 で提供されているため、自社サービスへの組み込みやファインチューニングのベースとして自由に活用できます。

一方で、高いベンチマークスコアを出した Instructモデルは研究目的限定のライセンスとなっており、商用利用は認められていません。商用プロダクトを作りたい場合は、Baseモデルを自前でSFTする必要があります。

なぜ重要か

これまでオープンな日本語LLMは選択肢が限られており、英語圏のモデルに比べて性能面で妥協を強いられるケースが少なくありませんでした。7500億トークンを学習した7Bクラスの基盤が Apache 2.0 で手に入る意義は非常に大きいです。

Instruct版が商用不可な点は惜しまれますが、日本語を自然に扱えるローカルLLMを自作したいエンジニアなら、まず触ってみるべきベースモデルと言えます。