Microsoftが13Bモデル「Orca」発表：GPT-4の思考プロセスを模倣

Orcaは、Microsoft Researchが発表した130億パラメータ（13B）の言語モデルです。巨大なデータセンターに頼ることなく、ローカル環境や手元の計算資源でGPT級の推論を実行できるように設計されています。

これまでの小型モデルは、大規模モデルの出力結果だけを模倣して学習していたため、複雑な論理推論になるとボロが出る傾向がありました。Orcaはその課題を克服することを目指しています。

どのように思考プロセスを学んだのか

OrcaはオープンソースモデルのVicunaをベースに構築されています。

一般的な手法と異なり、Microsoftは推定1兆パラメータ以上とされるGPT-4から「最終的な答え」だけを抽出するのではなく、段階的な思考プロセス、詳細な解説、複雑な指示の分解ステップを学習データとして与えました。

つまり、模範解答を丸暗記させるのではなく、GPT-4の「解き方」そのものを写し取らせた形です。

ベンチマーク結果と動作要件

論文によると、複雑なゼロショット推論を測定するBBH（Big-Bench Hard）ベンチマークで、OrcaはVicunaのスコアを100%上回り、ChatGPTと互角の性能を記録しました。

また、AGIEvalベンチマークでは従来のAIモデルよりも42%高速に動作したとされています。SAT、LSAT、GRE、GMATといった学術試験でも高い競争力を示していますが、GPT-4には依然として及びません。

13Bというサイズ感のおかげで、高価なクラスタを用意しなくても、手元の限られたGPU環境で独立して動かし、特定タスク向けに調整することが可能です。

なぜ重要か

小型モデルに対して「思考の過程」を学習させるアプローチの有効性をはっきりと証明した点が、Orcaの最大の成果です。単に出力スタイルを真似るだけの小手先の手法から、本質的な推論能力を移植する方向へと舵を切りました。

自前のハードウェアで完結する推論モデルを求めている開発者にとって、巨大モデルのAPIに頼らず実用的な論理タスクをこなすための有力な選択肢となるはずです。