Qwen2-Math公開：72B数学特化モデルがGPT-4oを凌駕

汎用AIは文章の要約やプログラミングが得意でも、複雑な数学の論理推論になると途端に躓きがちです。

通義千問（Qwen）チームはこの課題に特化し、数学特化型の大規模言語モデルシリーズ「Qwen2-Math」を公開しました。ベースモデルと指示チューニング版（Instruct）が用意され、パラメータ数は1.5B、7B、72Bの3サイズ展開です。

最大のトピックは、最上位モデル「Qwen2-Math-72B-Instruct」の性能です。公開されたベンチマーク結果によると、この72Bモデルは同クラスのオープンソースモデルだけでなく、Llama-3.1-405Bや、GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Proといった主要な商用クローズドモデルをも上回るスコアを記録しました。

独自の報酬モデルと強化学習による特訓

高い推論力を支えているのは、綿密に設計されたデータと学習パイプラインです。

ベースモデルはQwen2を起点に、数学関連のWebテキスト、書籍、コード、試験問題、さらにQwen2自身によって合成された高品質な数学データを用いて追加の事前学習が行われました。

さらに指示チューニングでは、まずQwen2-Math-72Bをベースにした数学専用の報酬モデルを構築。高密度な報酬シグナルと正誤判定のバイナリシグナルを組み合わせ、リジェクションサンプリングによるデータ生成と、GRPO（Group Relative Policy Optimization）を用いた強化学習を実施しました。

この報酬モデルの効果により、1.5Bや7Bといった軽量サイズでも推論性能が大きく引き上げられています。公開された検証例では、国際数学オリンピック（IMO）のショートリスト問題に対し、剰余演算や多項式の性質を用いた論理的証明を自力で出力してみせました。

なお、今回のリリースは主に英語での入力に対応しており、中国語と英語に対応したバイリンガル版は近く改めて提供される予定です。

なぜ重要か

今回の成果は、特定の高難度タスクにおいて、特化型モデルが巨大な汎用モデルを凌駕できることを明確に示しました。

研究者や教育関係者、あるいはSTEM領域のシステムを組む開発者にとって、自前で運用可能な72Bモデルが商用の最上位API以上の数学性能を発揮するメリットは極めて大きいです。軽量な7Bや1.5Bでも実用的な精度が出るため、オンプレミス環境や一般的なGPUでも高度な推論を安価に組み込めるようになります。

また、単に学習量を増やすだけでなく、特化型報酬モデルと強化学習（GRPO）を組み合わせるアプローチの有効性が実証された点も、業界のモデル開発に強い影響を与えると考えられます。

ただし過信は禁物です。数学の解答は1つのステップの破綻が致命傷になりますが、公式自身も過程の記述の正しさを保証しているわけではないと注記しています。現段階では、人間が検証を行う前提でのアシスタントや発想支援ツールとしての活用が現実的な落としどころと言えます。