Google 与 UCLA 提出 SRL 框架：让小模型也能搞定复杂多步推理

教小学生做奥数题，最糟糕的方法有两个：要么不管中间怎么思考，只要最后答案算错就打零分；要么逼着孩子把老师写下的每一个字一模一样抄十遍。

现在的 AI 训练其实也卡在同样的困境里。近日，Google Cloud 和 UCLA 的研究团队提出了一种新的训练框架，叫做监督强化学习（Supervised Reinforcement Learning，简称 SRL），专门帮小体积、低成本的语言模型攻克复杂的多步推理难题。

告别非黑即白的训练死胡同

大模型眼下的推理突破，很大程度靠的是以最终结果为导向的强化学习（RLVR）。模型反复尝试解题，只要最后答案对就给奖励。但在复杂的长链路推理中，算力预算有限，小模型可能试了几十次连一次正确答案都碰不到。

更让人头疼的是，小模型哪怕前面九步全对，只要最后一步手滑算错，在传统强化学习眼里就是彻头彻尾的失败，拿不到任何正向反馈。这种非黑即白的机制，根本没法让模型从部分正确的推导中吸取教训。

走另一条路做监督微调（SFT）也不轻松。让模型生搬硬套专家的完整解题轨迹，极其容易导致过拟合，模型换个数字就两眼一抹黑，而且高质量的专家数据成本高昂。

盯紧关键动作，允许自己的思考风格

SRL 走了一条中间路线。它把解题过程拆解成一系列连续的关键动作，而不是去抠每一个字。

在数学题里，一个关键动作可以是一次代数变形；在软件工程智能体里，它可能是一条在代码仓库里执行的具体指令。训练时，研究人员先用能力强大的教师模型生成解决方案，再把这些方案拆成步骤传授给小模型。

小模型在做出每一个动作之前，会先在标签里生成自己的内心独白，也就是它的思考过程。系统会对比小模型预测的动作和专家动作有多接近，并在每一步实时给出奖励。

Google 科学家、论文合著者 I-Hung Hsu 对外解释，这种折中方法保留了现实世界解决问题时的灵活性。好的推理在每一步都有标准，但到达目标的策略绝不止一种。实验显示，SRL 不仅在困难的数学基准上远超基线，还能顺畅迁移到软件工程这类智能体任务中。

为什么重要

我们认为，这项研究最聪明的地方，在于它放下了对大模型全知全能的执念，给端侧和边缘部署的小模型开辟了一条现实的进阶路径。

对开发者和企业来说，跑动辄数百亿参数的大模型成本太高、延迟太长，大家都希望几 B 规模的小模型能干重活。如果 SRL 能够成熟落地，开发者就能用廉价的算力，在特定业务场景里把小模型调教成高可靠的推理能手。像数据分析自动化、供应链排产这种容错率极低、依赖扎实中间步骤的任务，特别适合这种训练方式。

从行业竞争来看，这给开源模型和中小团队递了一把尺子。过去小团队做不起昂贵的海量结果试错，而 SRL 证明了用大模型作为教师、分解关键动作进行高频反馈，可以在较小的算力消耗下逼出小模型的推理极限。

不过看起来它的隐患也在于教师模型。如果负责生成动作骨架的教师模型本身存在逻辑盲区，小模型很容易在密集的步骤奖励下把错误动作当成了标准答案。要真正在生产环境替代大模型，如何低成本检验这些中间动作的合理性，依然是接下来必须跨过的坎。