Stability AIが言語モデル「Stable LM」公開、手元端末で動く軽量設計

Stable LMは、Stability AIが公開したオープンソースの軽量言語モデル群だ。手元のパソコンやエッジ端末上で直接動作し、文章やコードの生成をこなせるように設計されている。

今回公開されたAlpha版では30億（3B）と70億（7B）の2モデルが用意されており、今後は150億から650億パラメータのモデルも順次投入される予定だ。

どのように学習されたのか

小型サイズでありながら高い性能を引き出すため、学習データ量に重点が置かれている。

非営利研究団体EleutherAIの「The Pile」をベースにした新しい実験用データセットを使用しており、データ規模はThe Pileの3倍にあたる1.5兆トークンに達する。詳細なデータ構成は後日公表される見込みだ。

Stability AIはこれまでもEleutherAIと共にGPT-JやGPT-NeoX、Pythiaといったモデルのオープンソース化を手がけており、近年のCerebras-GPTやDolly-2もその延長線上にある。Stable LMもこの系譜を継ぐものだ。

また、基本モデルと同時に指示チューニング済みの研究用モデルも提供されている。こちらはAlpaca、GPT4All、Dolly、ShareGPT、HHという5つのオープンソース対話データセットを組み合わせて調整された。

仕様とライセンス、試用方法

ライセンスはモデルの種類によって分かれている。

基本モデルはCC BY-SA-4.0を採用しており、研究だけでなく商用利用や改変も認められている。

一方、対話向けに微調整された研究用モデルは、StanfordのAlpacaの規定に準拠し、非商用限定のCC BY-NC-SA 4.0となる。

1750億パラメータを持つGPT-3などと比べると3Bや7Bは極めて小さく、市販のグラフィックボードを積んだ一般的な端末でもローカル環境で動かせる。

コードと重みはStability AIのGitHubリポジトリで今すぐ入手可能だ。今後は詳細な技術レポートの公開や、クラウドソース型RLHFプログラム、Open Assistantプロジェクトとの連携も予定されている。

なぜ重要か

機密データを社外のAPIに送りたくない開発者や、個人でローカルAI環境を構築したいユーザーにとって、今すぐ試す価値がある選択肢だ。大手企業のクラウドAPIに縛られることなく、手元のマシンで自律したシステムを組む足がかりになる。

先行する小型オープンソースモデルと比べても、1.5兆トークンという潤沢な学習量と商用利用可能な基本ライセンスが魅力と言える。ただし、このサイズ感では高度な論理的推論に限界があることも確かであり、実務で使うなら特定業務向けのファインチューニングを前提に考えるのが無難だろう。