テンセントら、人手ラベル不要でLLMが自己進化する「R-Zero」を発表

AIに複雑な推論を学習させる際、最大の壁となってきたのが高品質な課題や教師データの不足です。人間によるデータ作成にはコストと時間の限界があり、AIの能力自体も人間の上限に縛られてしまいます。

Tencent AI Labとセントルイス・ワシントン大学の研究チームは、人間がラベル付けしたデータを一切使わずに大規模言語モデル（LLM）が自己進化できる新しい学習フレームワーク「R-Zero」を発表しました。

出題者と解答者の自己対戦ループ

R-Zeroのアプローチは、単一のベースモデルを「Challenger（挑戦者・出題者）」と「Solver（解答者）」という2つの役割に分割することから始まります。この2者が強化学習を通じて相互に対戦し、共に進化していきます。

Challengerの目的は、Solverの現在の能力の限界線上にある絶妙な難易度の問題を新しく生み出すことです。難しすぎず、簡単すぎない課題だけが選別され、訓練データセットとしてまとめられます。

一方のSolverはそれらの難問を解くよう訓練されますが、正解の判定には人間を介さず、Solver自身による複数回の試行における多数決を採用しています。

論文の共著者でセントルイス・ワシントン大学の博士課程に在籍するChengsong Huang氏は、実際の開発現場で最も難しいのは解答の生成ではなく、高品質で難易度が適切に上がっていく問題を作ることだと説明しています。優れた教師は優れた生徒よりもはるかに稀であり、この仕組みは最適なカリキュラムを提供する教師の役割を自動化したものだといいます。

オープンソースモデルで明確な性能向上

研究チームはQwen3シリーズやOctoThinkerシリーズなどのオープンソースモデルを用いて検証を行いました。まず数学問題で学習させ、その推論能力がMMLU-ProやSuperGPQAなどの一般的な難関ベンチマークに汎用できるかをテストしています。

その結果、Qwen3-4B-Baseでは数学推論ベンチマークの平均スコアが6.49ポイント向上しました。より大きなQwen3-8B-Baseでも、3回の反復を経て平均スコアが5.51ポイント上昇しています。

特に最初の反復直後に大きな性能の跳ね上がりが確認されており、AI自身が作成した動的カリキュラムが極めて効果的に機能していることが裏付けられました。

なぜ重要か

私たちは、R-Zeroのような自己進化フレームワークは、AI業界が直面している高品質な人間データの枯渇という課題に対する極めて有力な回答になると考えています。

これまで特定の専門分野向けに高度な推論モデルを作ろうとすれば、専門家を雇って膨大な問題と解説を作成する必要があり、多額のコストがかかっていました。この手法が実用化されれば、企業は自前のベースモデルに計算リソースを投じるだけで、ゼロから推論能力を引き上げられるようになります。

R-Zeroの巧みな点は、解答の検証よりも「適切な課題の生成」に強化学習を適用した点にあります。一方で懸念されるのは、正解判定を多数決に依存している点です。数学のように客観的な検証がしやすい領域では機能しますが、唯一の正解がないオープンエンドな課題に適用した場合、誤った論理で自己強化されてしまうリスクが残ります。それでも、人間が手を下さずにモデル同士で賢くなっていく道筋を示した意義は非常に大きいと言えます。