Qwen2-Math 发布：72B 数学模型跑分超越 GPT-4o

很多通用大模型写代码、写诗样样精通，但一碰到底层数学推导，常常连一道初高中竞赛题都算不明白。

通义千问团队这次干脆给大模型搞了一场数学特训，正式推出了专有数学模型系列 Qwen2-Math。整个系列包含基座模型和指令微调版本，参数覆盖 1.5B、7B 和 72B 三个尺寸。

最显眼的成绩是旗舰型号 Qwen2-Math-72B-Instruct。官方放出的跑分显示，这个 72B 体量的模型，在数学基准测试里不仅把同尺寸的开源对手甩在身后，还越级超过了体量大得多的 Llama-3.1-405B，以及 GPT-4o、Claude-3.5-Sonnet 和 Gemini-1.5-Pro 这些头部闭源模型。

拿奖励模型当裁判，拿强化学习刷题

Qwen2-Math 能啃下硬骨头，靠的不只是死记硬背题库。

基座模型在 Qwen2 的基础上，吃进了专门筛选的数学语料，包括高质量网页文本、数学书籍、代码、竞赛试题，还有 Qwen2 自己合成的高质量数学预训练数据。

到了指令微调阶段，团队先基于 72B 模型训练了一个专门的数学奖励模型。这个奖励模型会给出细致的密集评分，再和最终答案是否正确的二元信号拼在一起，用来指导拒绝采样生成微调数据。

在微调之后，他们还用上了 GRPO 强化学习算法。测试表明，即便在 1.5B 和 7B 这样的小尺寸模型上，配合奖励模型筛选后，解题表现也有非常明显的提升。

在官方给出的示例里，Qwen2-Math-72B-Instruct 甚至能直接推导 IMO 国际数学奥林匹克的候选试题，把数论和多项式奇偶性证明一步一步写出来。

不过目前这套模型主要以英文交互为主。团队也特别说明，虽然跑了高考和中考的中文试题，但正式的中英双语版数学模型还要等后续更新。

为什么重要

我们认为，Qwen2-Math 是垂直小钢炮路线又一次漂亮的突围。

对于科研人员、学生或者需要把数学推理嵌入工作流的开发者来说，你不需要再去调用昂贵且黑盒的闭源顶配 API，拿一个 72B 甚至 7B 的专用模型，就能在本地或私有云里跑出顶尖的推导能力。7B 和 1.5B 甚至能在边缘设备或单张消费级显卡上跑起来，极大地降低了数学推理的试错成本。

从行业角度看，它再次证明了通用大模型并不是解决一切任务的唯一解。通过合成数据清洗、专用奖励模型和针对性的强化学习对齐，专用模型完全可以在特定垂直学科上逆袭参数规模大它数倍的通用巨无霸。

看起来，这种用密集奖励信号搭配强化学习的方法，正在成为提升模型硬逻辑推理能力的标准答案。但隐患也是显而易见的：官方自己也提示，不保证推理过程中所有断言的绝对正确。数学是一门容错率为零的学科，模型在长链路推导里一旦出现微小的幻觉，整道题的结论就会崩塌。目前来看，它很适合作为辅助解题和寻找灵感的工具，但要完全代替人工严密验证，显然还为时尚早。