腾讯推 R-Zero 训练框架：大模型不靠人工标注也能自我进化

教 AI 做数学题，最累的其实不是算答案，而是源源不断地想出难度刚刚好的新题。现在，腾讯和高校的研究人员打算把人类出题老师也换掉。

腾讯 AI Lab 联手圣路易斯华盛顿大学的研究团队，推出了一套名为 R-Zero 的全新训练框架。这套方案的核心就是彻底甩开人类标注数据，让大语言模型完全依靠自我对弈和强化学习来练出高级推理能力。

让两个自己左右互搏

训练自进化 AI 最大的瓶颈，向来是高质量数据太贵、太慢，而且人类的水平直接决定了 AI 的上限。就算以前有些免标注方法，也得先有人类准备好的题库作为基础。

R-Zero 的解法非常巧妙：它从一个基础模型出发，把它拆分成两个独立进化的角色，一个叫「挑战者」，另一个叫「解答者」。

挑战者的任务不是把对方难倒，而是出一些刚好卡在解答者能力边界上的题目，既不能太简单，也不能完全解不开。随后这些题目经过多样性筛选，组成新的训练集。

解答者拿到题目后进行解题，答案对不对不用人去对，而是靠解答者自己多次尝试后的多数投票来敲定标准答案。两个模型就这样互相喂招、交替迭代，整个过程不需要人工介入。

论文共同作者、圣路易斯华盛顿大学博士生 Chengsong Huang 提到，在真实场景里，最大的挑战从来不是解答，而是提出新颖、高质且循序渐进的难题。在他看来，好学生常有，而好老师不常有，这种共进化机制本质上就是自动造出了一个能量身定做课程的好老师。

小模型三轮练出硬实力

这套机制并不是纸上谈兵。研究团队在 Qwen3 和 OctoThinker 等开源模型上做了实测。

他们先让模型用 R-Zero 自我训练数学问题，再把模型拉到 MMLU-Pro 和 SuperGPQA 等通用学科基准上去测泛化表现。

测试结果显示，R-Zero 表现出很强的通用性。比如 Qwen3-4B-Base 在数学推理基准上的平均得分直接提升了 6.49 分。

体量稍大一些的 Qwen3-8B-Base，在经历三轮迭代后，数学平均得分也爬升了 5.51 分。实验还发现，模型在第一轮迭代后就出现了明显的性能跃升，证明了动态出题逻辑的有效性。

为什么重要

我们认为，R-Zero 这类无标注自我进化框架，踩中了当下大模型演进最致命的一个痛点：人类优质标注数据的枯竭。

对于中小企业和特定领域的开发者来说，想要训练专精于复杂推理的任务模型，往往掏不起巨额的数据标注费用。如果这项技术走向成熟，团队只要拿到一个开源基础底模，就能靠算力在本地让模型自己刷题涨分，大幅拉低专业模型的研发门槛。

从技术路径来看，R-Zero 聪明的地方在于抓住了出题这个牛鼻子，用动态难度匹配替代了死板的静态题库。不过这种做法看起来也有潜在隐患：多数投票决定答案机制只适用于有客观逻辑、可自我校验的数理和逻辑领域。一旦扩展到更开放、没有标准答案的开放式任务中，两个模型会不会在错误的方向上互相强化导致逻辑跑偏，目前来源里还没有给出答案。

但无论如何，它证明了模型即使没有人类喂数据，也能摸索着向前走。同行们接下来恐怕都得重新审视自己的数据预算了。