微软发布 Orca 2：教小模型按策略推理，表现媲美 10 倍大模型

Microsoft 发布了小语言模型 Orca 2，并把模型权重公开在了网上。这是一个专门探索如何让小模型具备强大推理能力的研究项目。

在很多复杂的零样本推理任务上，它的表现不仅远超同体量模型，甚至追平或超越了体积比自己大 5 到 10 倍的大模型。

不做大模型的盲目复读机

以往训练小模型，社区最常用的套路是模仿学习，也就是让大模型生成一堆答案，再逼着小模型把输出格式生搬硬套下来。

但微软的研究团队认为，过度沉迷于模仿反倒限制了小模型的潜力。

大模型因为参数量足够大，面对复杂问题往往可以直接给出答案。而参数量有限的小模型要是硬学这种直接作答，往往只会胡说八道。

Orca 2 的核心突破，是教会了小模型根据任务灵活选择不同的解题策略。

它可以一步步分步推导，也可以先检索回忆再生成内容，或者在简单问题上直接给出答案。最关键的一点在于，它学会了针对不同场景自主判断哪种策略最有效。

评测表现与开源细节

为了检验这种训练方式的效果，团队用了 15 个不同的基准测试集，涵盖大约 100 项具体任务和超过 36000 个独特提示词。

测试结果显示，在测试高阶推理能力的复杂零样本场景中，Orca 2 不仅大幅领先同尺寸的竞品，还达到了 5 到 10 倍参数量模型的水平。

目前微软已经公开了 Orca 2 的权重，供研究人员探索小模型的开发、评估与对齐技术。

为什么重要

对于关注端侧运行和成本控制的开发者来说，Orca 2 提供了一条不用盲目堆参数也能提升智商的新思路。如果你正在寻找能在有限算力下跑出扎实推理能力的轻量模型，很值得把它的权重拿来做评测与微调。

我们认为微软这项研究最聪明的地方，在于放下了对大模型输出表象的盲目执念，转而从小模型的生理极限出发去设计解题路径。这种策略路由的思路，大概率会成为后续轻量化模型训练的标准解法。