GoogleとUCLAが新手法「SRL」発表：小型AIモデルの多段階推論能力を大幅強化

複雑な数学の難問を子どもに教えるとき、途中の考え方が合っていても最後の計算ミスだけで0点をつければやる気は失われます。逆に、先生の解法ノートを丸写しさせるだけでは、少し問題が変わっただけで手も足も出なくなります。

AIの推論トレーニングもまったく同じ壁にぶつかっていました。Google CloudとUCLAの研究チームは、小規模な言語モデルでも高度な多段階推論を学習できる新フレームワーク「Supervised Reinforcement Learning（SRL）」を発表しました。

オール・オア・ナッシングの限界を超える

近年の推論モデルの進歩は、最終的な回答の正誤だけで評価する強化学習（RLVR）が牽引してきました。しかし計算リソースに限りがある中、小規模モデルが難問で偶然正解にたどり着く確率は極めて低く、学習の機会すら得られない問題がありました。

さらに、途中の推論がいくら完璧でも最後の1手で間違えれば報酬はゼロになります。部分的な正しさを一切評価できないため、学習効率が著しく落ちていました。かといって模範解答を丸暗記させる教師あり微調整（SFT）では、汎化能力が育たず過学習に陥りやすいのが難点でした。

思考のプロセスを「行動」として評価する

SRLはこの両極端の間をとる仕組みです。問題解決を一連の意思決定プロセスとして捉え直し、専門家の思考プロセスの骨格となる「主要な行動」を学習させます。

数学なら代数計算の一手、コーディングエージェントならコマンドの実行といった具体的なステップを行動として定義します。強力な教師モデルが作成した解答ルートをもとに、小規模モデルは思考タグ内で内部推論を行ってから行動を起こします。SRLはその行動が専門家の手順に近いかどうかを各ステップごとに細かく採点し、密度の濃いフィードバックを与えます。

論文の共著者であるGoogleのI-Hung Hsu氏は、実社会の問題解決には多様な解き方がある一方で各段階の良し悪しには明確な基準があるとし、この中間的なアプローチが有効だと説明しています。実験では、数学のベンチマークだけでなくソフトウェア開発エージェントのタスクでも高い汎用性が確認されました。

なぜ重要か

私たちは、この手法が巨大モデルに依存しがちな推論AIの潮流を、軽量で実用的なモデルへと引き戻す重要な一歩になると見ています。

すべての企業が数千億パラメータのモデルを常時動かせるわけではありません。データサイエンスの自動化やサプライチェーン管理のように、途中経過の正確さが求められる現場では、低コストで機敏に動くエージェントが求められます。SRLを使えば、手頃なオープンモデルに信頼性の高い業務タスクを任せられる可能性が広がります。

開発のアプローチとしても、巨大モデルを正解判定機として使うのではなく、行動のペースメーカーとして活用する点が巧妙です。試行錯誤に莫大な計算資源を注ぎ込めない中小規模のチームにとって、有力な選択肢になりそうです。

ただし、教師モデルの行動設計に偏りや誤りがあれば、細かなステップ報酬によってその癖が小モデルに強く刷り込まれてしまうリスクもあります。現場に導入する際は、教師データの質をどう担保するかが今後の課題になりそうです。