騰訊推 R-Zero 訓練框架：大模型不靠人工標註也能自我進化

教 AI 做數學題，最累的其實不是算答案，而是源源不斷地想出難度剛剛好的新題。現在，騰訊和高校的研究人員打算把人類出題老師也換掉。

騰訊 AI Lab 聯手聖路易斯華盛頓大學的研究團隊，推出了一套名為 R-Zero 的全新訓練框架。這套方案的核心就是徹底甩開人類標註資料，讓大語言模型完全依靠自我對弈和強化學習來練出高階推理能力。

讓兩個自己左右互搏

訓練自進化 AI 最大的瓶頸，向來是高質量資料太貴、太慢，而且人類的水平直接決定了 AI 的上限。就算以前有些免標註方法，也得先有人類準備好的題庫作為基礎。

R-Zero 的解法非常巧妙：它從一個基礎模型出發，把它拆分成兩個獨立進化的角色，一個叫「挑戰者」，另一個叫「解答者」。

挑戰者的任務不是把對方難倒，而是出一些剛好卡在解答者能力邊界上的題目，既不能太簡單，也不能完全解不開。隨後這些題目經過多樣性篩選，組成新的訓練集。

解答者拿到題目後進行解題，答案對不對不用人去對，而是靠解答者自己多次嘗試後的多數投票來敲定標準答案。兩個模型就這樣互相喂招、交替迭代，整個過程不需要人工介入。

論文共同作者、聖路易斯華盛頓大學博士生 Chengsong Huang 提到，在真實場景裡，最大的挑戰從來不是解答，而是提出新穎、高質且循序漸進的難題。在他看來，好學生常有，而好老師不常有，這種共進化機制本質上就是自動造出了一個能量身定做課程的好老師。

小模型三輪練出硬實力

這套機制並不是紙上談兵。研究團隊在 Qwen3 和 OctoThinker 等開源模型上做了實測。

他們先讓模型用 R-Zero 自我訓練數學問題，再把模型拉到 MMLU-Pro 和 SuperGPQA 等通用學科基準上去測泛化表現。

測試結果顯示，R-Zero 表現出很強的通用性。比如 Qwen3-4B-Base 在數學推理基準上的平均得分直接提升了 6.49 分。

體量稍大一些的 Qwen3-8B-Base，在經歷三輪迭代後，數學平均得分也爬升了 5.51 分。實驗還發現，模型在第一輪迭代後就出現了明顯的效能躍升，證明了動態出題邏輯的有效性。

為什麼重要

我們認為，R-Zero 這類無標註自我進化框架，踩中了當下大模型演進最致命的一個痛點：人類優質標註資料的枯竭。

對於中小企業和特定領域的開發者來說，想要訓練專精於複雜推理的任務模型，往往掏不起鉅額的資料標註費用。如果這項技術走向成熟，團隊只要拿到一個開源基礎底模，就能靠算力在本地讓模型自己刷題漲分，大幅拉低專業模型的研發門檻。

從技術路徑來看，R-Zero 聰明的地方在於抓住了出題這個牛鼻子，用動態難度匹配替代了死板的靜態題庫。不過這種做法看起來也有潛在隱患：多數投票決定答案機制只適用於有客觀邏輯、可自我校驗的數理和邏輯領域。一旦擴充套件到更開放、沒有標準答案的開放式任務中，兩個模型會不會在錯誤的方向上互相強化導致邏輯跑偏，目前來源裡還沒有給出答案。

但無論如何，它證明了模型即使沒有人類喂資料，也能摸索著向前走。同行們接下來恐怕都得重新審視自己的資料預算了。