Stable LM Zephyr 3B公開：30億パラメータでエッジ端末でも軽快に動作

Stable LM Zephyr 3Bは、30億パラメータの軽量な対話型言語モデルだ。一般的な7Bモデルと比べてサイズが約60%小さく、高価なGPUを積んでいないエッジ端末やPC上でも軽快に動作する。

何ができるのか

コンパクトなサイズでありながら、幅広いテキスト生成タスクに対応できる。

一般的な質疑応答や指示追従はもちろん、コピーライティング、要約、教育コンテンツの作成、パーソナライズ、入力データの分析などに活用できる。

モデルの重みはすでに公開されており、推論速度を最適化するためのサンプルNotebookも用意されている。

どのように作られたのか

このモデルは既存の「Stable LM 3B-4e1t」をベースに、Hugging Faceの「Zephyr 7B」の開発手法を取り入れて開発された。

学習は2段階で行われている。まず、UltraChat、MetaMathQA、Evol Wizard、Capybaraといった複数の指示データセットを用いて教師あり微調整を実施した。

続く第2段階では、DPO（Direct Preference Optimization）アルゴリズムを用いて人間の好みに合わせたアライメントを行った。この学習には、OpenBMBが作成した6万4000件のプロンプトと応答を含むUltraFeedbackデータセットが使用されている。

DPOを用いた先行例にはZephyr-7BやNeural-Chat-7B、Tulu-2-DPO-70Bなどがあるが、3Bという小型モデルにこの手法を本格適用した例はまだ少ない。

性能とライセンス

公式のベンチマークによると、MT BenchやAlpacaEvalにおいて文脈の整合性や正確性に優れた結果を示した。

テスト結果では、Falcon-4b-InstructやWizardLM-13B-v1だけでなく、Llama-2-70b-chatやClaude-V1といった大型モデルに対しても同等以上のスコアを記録したとされている。

ただし利用条件には注意が必要だ。現在公開されているモデルは非商用ライセンスとなっており、商用目的で利用する場合は個別に問い合わせてライセンスを取得する必要がある。

なぜ重要か

手元にハイスペックなハードウェアがない開発者や、端末内で完結する軽量AIを検証したい人にとって、試してみる価値のある選択肢だ。データセットの選定とDPOの適用により、3Bクラスでも実用的なアシスタントが作れることを実証している。

もちろん、複雑な論理展開や深い知識量では大型モデルに及ばない場面もあるため、ベンチマークの結果を過信すべきではない。また非商用ライセンスであるため、個人開発や研究用途にとどまる点が当面のハードルと言える。