Stability AIが「Stable Beluga」公開：少量の合成データで首位獲得

Stable Beluga 1およびStable Beluga 2は、Stability AIとその傘下のCarperAIラボが公開したオープンアクセスの大規模言語モデルです。高度な論理推論や繊細な文脈理解に長けており、法律や数学といった専門的な質問にも高い精度で回答できます。

当初はマイクロソフトの研究論文「Orca」にちなんで「FreeWilly」というコードネームで呼ばれていましたが、後に白鯨を意味する「Beluga」へ改名されました。獰猛なシャチ（Orca）よりも穏やかな白鯨のように、安全性や無害性に配慮したモデルを目指して内部でレッドチーミングが施されています。

わずか1割の合成データで実現した効率的学習

Stable Belugaの最大の特徴は、データ効率の圧倒的な高さにあります。学習手法は、GPT-4の思考プロセスから学ぶマイクロソフトのOrca論文に直接的な着想を得ていますが、使用したデータセットは独自に構成されています。

開発チームはEnrico Shippole氏が作成した高品質な指示データをベースに、約60万件の合成データセットを生成しました。これはオリジナルのOrca論文で使われたデータ量の約10分の1にすぎません。

公平な評価を行うため、データセット内からARC-Challengeをはじめとするベンチマーク関連のデータを徹底的に除外してリークを防いでいます。訓練規模を10分の1に抑えたことで、学習コストと二酸化炭素排出量を大幅に削減しながら極めて高い推論性能を引き出すことに成功しました。

オープンランキング首位と提供形式

この効率的なアプローチは、公開ベンチマークで目覚ましい結果を残しました。EleutherAIのlm-eval-harnessやAGIEval、GPT4ALLなどのゼロショット評価で高いスコアを記録しています。

7月27日時点で、Hugging Faceが独自に検証した「Open LLM Leaderboard」において、LLaMA 2 70BをベースとするStable Beluga 2が総合1位を獲得しました。初代LLaMA 65BベースのStable Beluga 1も同ランキングで4位にランクインしています。

モデルの仕様面では、Stable Beluga 2は70Bパラメータモデルで、Hugging Face上で完全な重みがそのまま公開されています。ローカル環境で動かすには大容量のGPUメモリが必要となります。

一方、旧世代のLLaMA 65Bを標準的なAlpaca形式で微調整したStable Beluga 1は、元のライセンス条件の都合上、ベースモデルに対する差分（デルタ）データとして配布されています。

なお、両モデルともにライセンスは非商用の「Stable Beluga Research License」となっており、利用目的は研究用途に限定されています。

なぜ重要か

Stable Belugaは、オープンソースコミュニティにおける「合成データの質」の重要性を明確に示しました。何百万件もの膨大なデータを力任せに集めなくても、適切にフィルタリングされた約60万件の高品質な指示データがあれば、70Bモデルをオープンモデルの頂点に押し上げられることを実証した意味は大きいです。

ただし、非商用ライセンスである点と、70Bという巨大なモデルサイズゆえのハードウェア要件は実用上の高いハードルです。最先端の推論モデルをローカルで研究したい研究者には有力な選択肢ですが、商用サービスへの組み込みを狙う開発者は、この手法自体を独自のデータセットで再現するアプローチを参考にするのが現実的と言えます。