Qwen2-Math 釋出：72B 數學模型跑分超越 GPT-4o

很多通用大模型寫程式碼、寫詩樣樣精通，但一碰到底層數學推導，常常連一道初高中競賽題都算不明白。

通義千問團隊這次乾脆給大模型搞了一場數學特訓，正式推出了專有數學模型系列 Qwen2-Math。整個系列包含基座模型和指令微調版本，引數覆蓋 1.5B、7B 和 72B 三個尺寸。

最顯眼的成績是旗艦型號 Qwen2-Math-72B-Instruct。官方放出的跑分顯示，這個 72B 體量的模型，在數學基準測試裡不僅把同尺寸的開源對手甩在身後，還越級超過了體量大得多的 Llama-3.1-405B，以及 GPT-4o、Claude-3.5-Sonnet 和 Gemini-1.5-Pro 這些頭部閉源模型。

拿獎勵模型當裁判，拿強化學習刷題

Qwen2-Math 能啃下硬骨頭，靠的不只是死記硬背題庫。

基座模型在 Qwen2 的基礎上，吃進了專門篩選的數學語料，包括高質量網頁文本、數學書籍、程式碼、競賽試題，還有 Qwen2 自己合成的高質量數學預訓練資料。

到了指令微調階段，團隊先基於 72B 模型訓練了一個專門的數學獎勵模型。這個獎勵模型會給出細緻的密集評分，再和最終答案是否正確的二元訊號拼在一起，用來指導拒絕取樣生成微調資料。

在微調之後，他們還用上了 GRPO 強化學習演算法。測試表明，即便在 1.5B 和 7B 這樣的小尺寸模型上，配合獎勵模型篩選後，解題表現也有非常明顯的提升。

在官方給出的示例裡，Qwen2-Math-72B-Instruct 甚至能直接推導 IMO 國際數學奧林匹克的候選試題，把數論和多項式奇偶性證明一步一步寫出來。

不過目前這套模型主要以英文互動為主。團隊也特別說明，雖然跑了高考和中考的中文試題，但正式的中英雙語版數學模型還要等後續更新。

為什麼重要

我們認為，Qwen2-Math 是垂直小鋼炮路線又一次漂亮的突圍。

對於科研人員、學生或者需要把數學推理嵌入工作流的開發者來說，你不需要再去呼叫昂貴且黑盒的閉源頂配 API，拿一個 72B 甚至 7B 的專用模型，就能在本地或私有云裡跑出頂尖的推導能力。7B 和 1.5B 甚至能在邊緣裝置或單張消費級顯示卡上跑起來，極大地降低了數學推理的試錯成本。

從行業角度看，它再次證明了通用大模型並不是解決一切任務的唯一解。通過合成數據清洗、專用獎勵模型和針對性的強化學習對齊，專用模型完全可以在特定垂直學科上逆襲引數規模大它數倍的通用巨無霸。

看起來，這種用密集獎勵訊號搭配強化學習的方法，正在成為提升模型硬邏輯推理能力的標準答案。但隱患也是顯而易見的：官方自己也提示，不保證推理過程中所有斷言的絕對正確。數學是一門容錯率為零的學科，模型在長鏈路推導裡一旦出現微小的幻覺，整道題的結論就會崩塌。目前來看，它很適合作為輔助解題和尋找靈感的工具，但要完全代替人工嚴密驗證，顯然還為時尚早。