Microsoft、推論力を高めた小規模言語モデル「Orca 2」公開　5〜10倍サイズのモデルに匹敵

Microsoft は小規模言語モデル「Orca 2」を発表し、その重みを公開した。限られたパラメータ数の中でいかに推論力を引き出すかを追求した研究プロジェクトだ。

Orca 2 は複雑なゼロショット推論テストにおいて、同等サイズのモデルを大きく凌駕するだけでなく、自らより 5 〜 10 倍大きなモデルに匹敵、あるいはそれを上回る性能を示している。

大規模モデルの物真似をやめる

小規模モデルの学習では、高性能な大規模モデルの出力をそのまま真似させる模倣学習が長らく主流だった。

しかし研究チームは、この過剰な模倣こそが小型モデルの潜在能力を狭めていると指摘する。巨大モデルなら一発で直接正解を出せる難問でも、小型モデルが同じ真似をすれば破綻してしまうためだ。

Orca 2 の賢い点は、タスクに応じて解法を使い分ける技術を身につけたことにある。

状況に応じてステップを踏んで推論したり、関連知識を想起してから文章を組み立てたり、シンプルな質問には直接答えたりと、柔軟に戦略を変える。どの解法が最も効率的かをモデル自身が判断できるようにした。

15 のベンチマークで実証

評価にあたっては、約 100 のタスクと 36,000 件以上のプロンプトを含む 15 種類の多様なベンチマークが用いられた。

高度な推論が求められるゼロショット評価において、Orca 2 は同規模のモデルを大幅に引き離し、5 〜 10 倍の体量を持つモデルと互角以上の数値を叩き出している。

現在、重みは研究目的で一般公開されており、小型モデルの開発やアライメント検証に活用できる。

なぜ重要か

端末ローカルでの実行や運用コストの削減を目指す開発者にとって、Orca 2 は試す価値が極めて高い。無理に巨大なハードウェアを用意しなくても、堅実な推論能力を手に入れられる道筋を示している。

単に大モデルの振る舞いをコピーするのではなく、小型モデルならではの思考プロセスを設計したアプローチは極めて合理的であり、今後の軽量モデル開発の標準的な手法になっていくだろう。