Google 與 UCLA 提出 SRL 框架：讓小模型也能搞定複雜多步推理

教小學生做奧數題，最糟糕的方法有兩個：要麼不管中間怎麼思考，只要最後答案算錯就打零分；要麼逼著孩子把老師寫下的每一個字一模一樣抄十遍。

現在的 AI 訓練其實也卡在同樣的困境裡。近日，Google Cloud 和 UCLA 的研究團隊提出了一種新的訓練框架，叫做監督強化學習（Supervised Reinforcement Learning，簡稱 SRL），專門幫小體積、低成本的語言模型攻克複雜的多步推理難題。

告別非黑即白的訓練死衚衕

大模型眼下的推理突破，很大程度靠的是以最終結果為導向的強化學習（RLVR）。模型反覆嘗試解題，只要最後答案對就給獎勵。但在複雜的長鏈路推理中，算力預算有限，小模型可能試了幾十次連一次正確答案都碰不到。

更讓人頭疼的是，小模型哪怕前面九步全對，只要最後一步手滑算錯，在傳統強化學習眼裡就是徹頭徹尾的失敗，拿不到任何正向反饋。這種非黑即白的機制，根本沒法讓模型從部分正確的推導中吸取教訓。

走另一條路做監督微調（SFT）也不輕鬆。讓模型生搬硬套專家的完整解題軌跡，極其容易導致過擬合，模型換個數字就兩眼一抹黑，而且高質量的專家資料成本高昂。

盯緊關鍵動作，允許自己的思考風格

SRL 走了一條中間路線。它把解題過程拆解成一系列連續的關鍵動作，而不是去摳每一個字。

在數學題裡，一個關鍵動作可以是一次代數變形；在軟體工程智慧體裡，它可能是一條在程式碼倉庫裡執行的具體指令。訓練時，研究人員先用能力強大的教師模型生成解決方案，再把這些方案拆成步驟傳授給小模型。

小模型在做出每一個動作之前，會先在標籤裡生成自己的內心獨白，也就是它的思考過程。系統會對比小模型預測的動作和專家動作有多接近，並在每一步即時給出獎勵。

Google 科學家、論文合著者 I-Hung Hsu 對外解釋，這種折中方法保留了現實世界解決問題時的靈活性。好的推理在每一步都有標準，但到達目標的策略絕不止一種。實驗顯示，SRL 不僅在困難的數學基準上遠超基線，還能順暢遷移到軟體工程這類智慧體任務中。

為什麼重要

我們認為，這項研究最聰明的地方，在於它放下了對大模型全知全能的執念，給端側和邊緣部署的小模型開闢了一條現實的進階路徑。

對開發者和企業來說，跑動輒數百億引數的大模型成本太高、延遲太長，大家都希望幾 B 規模的小模型能幹重活。如果 SRL 能夠成熟落地，開發者就能用廉價的算力，在特定業務場景裡把小模型調教成高可靠的推理能手。像資料分析自動化、供應鏈排產這種容錯率極低、依賴紮實中間步驟的任務，特別適合這種訓練方式。

從行業競爭來看，這給開源模型和中小團隊遞了一把尺子。過去小團隊做不起昂貴的海量結果試錯，而 SRL 證明了用大模型作為教師、分解關鍵動作進行高頻反饋，可以在較小的算力消耗下逼出小模型的推理極限。

不過看起來它的隱患也在於教師模型。如果負責生成動作骨架的教師模型本身存在邏輯盲區，小模型很容易在密集的步驟獎勵下把錯誤動作當成了標準答案。要真正在生產環境替代大模型，如何低成本檢驗這些中間動作的合理性，依然是接下來必須跨過的坎。