Stability AI、RLHFで強化学習した初のオープンソース対話モデル「StableVicuna」公開

StableVicuna-13Bは、人間のフィードバックによる強化学習（RLHF）の全工程を適用した初の大規模オープンソース対話AIモデルです。ローカル環境や自前サーバーで動作するアシスタントとして、基礎的な数学の計算、コードの生成、文章の校正などを、人間の対話の好みに沿った自然な口調でこなすことができます。

何ができるのか、どう作られたのか

これまでのオープンソースモデルの多くは、RLHFの複雑さから指示チューニング（SFT）止まりになっていました。StableVicuna-13Bは、LLaMA-13BをベースとするVicuna-13Bを出発点とし、確立された3段階のRLHFパイプラインを実行しています。

第1段階として、3つのデータセットを混ぜて追加の教師あり微調整を実施しました。35言語にまたがる16万1443件のメッセージを含むOpenAssistant（OASST1）、43万7605件のGPT4All、そして5万2000件のAlpacaデータセットです。

第2段階では、trlXフレームワークを使って報酬モデルを学習させました。ここにはOASST1の7213件の選好サンプルに加え、AnthropicのHH-RLHFから16万800件、スタンフォード大学の人間選好データセット（SHP）から34万8718件の人手評価データが投入されています。

第3段階として、trlXによるPPO（近接方策最適化）アルゴリズムを用い、報酬モデルのスコアに基づいて最終的な強化学習アライメントを完了させました。

入手方法と動かし方

ベースとなった初代LLaMAのライセンス上の制約により、StableVicuna-13Bの完全な重みは直接配布されていません。Hugging Face Hubでは差分データ（weight delta）として提供されています。

ローカルで利用するには、Metaから正規に入手したLLaMA-13Bの重みを用意し、GitHubリポジトリにあるスクリプトを使って差分をマージする必要があります。すぐに挙動を確認したいユーザー向けには、Hugging Face Spaces上でGradioデモが公開されており、今後はDiscordサーバーでもボットが展開される予定です。

なぜ重要か

StableVicunaの最大の意義は、ChatGPTの成功を支えていたRLHFというアライメント工程を、オープンソースコミュニティの手で再現可能にした点にあります。trlXのようなオープンツールと公開データセットを組み合わせれば、巨大テック企業の外でもRLHFモデルを完結できると証明しました。

自社モデルの安全性や応答品質を改善したい開発者にとっては、学習手順やスクリプトを含めて格好の検証材料になります。一方で一般ユーザーにとっては重みのマージ作業に手間がかかるため、まずはウェブ上のデモで感触を確かめてみるのが賢い付き合い方といえます。