微软推出 13B 模型 Orca：模仿 GPT-4 思考过程，推理打平 ChatGPT

微软研究院公布的 Orca 是一个 130 亿参数（13B）的轻量级语言模型，能让你在不依赖庞大数据中心的前提下，在本地或自有算力上跑出接近大模型的推理效果。

它的核心用途是让小模型也能做复杂的逻辑推理。以前的开源轻量模型大多只模仿大模型的最终回答，学得浮于表面，遇到多步逻辑推理就容易翻车。Orca 则专门针对这个痛点进行了改良。

它是怎么做到的

Orca 基于开源模型 Vicuna 构建，但学习方式有了根本变化。

微软没有让它单单学习输入和输出的配对，而是引入传闻拥有超过万亿参数的 GPT-4，要求 GPT-4 给出详细的解释、逐步思考的推理链以及复杂的指令拆解。

说白了，它不是在背大模型的标准答案，而是在临摹 GPT-4 的解题思路。通过这种大规模且多样化的渐进式模仿数据训练，小模型逐步吸收了更深层的逻辑能力。

实际效果与运行开销

根据论文披露的测试数据，Orca 在考验复杂零样本推理的 Big-Bench Hard（BBH）基准上，表现直接比前代 Vicuna 高出 100%，基本追平了 ChatGPT。

在基准测试 AGIEval 上，Orca 的运行速度据称比传统 AI 模型快了 42%。在 SAT、LSAT、GRE 和 GMAT 等学术考试中，它也展现出了很强的竞争力，不过整体水准依然落后于真正的 GPT-4。

在硬件需求方面，13B 参数的体量意味着个人开发者或实验室无需昂贵的超算集群，用常规的单卡服务器就能独立部署和微调。

不过要注意，Orca 目前核心成果主要以研究论文形式展现。而且它毕竟受限于 13B 的参数上限，在知识广度和超高难度的专业测试里，差距依然客观存在。

为什么重要

我们认为 Orca 最聪明的地方，在于彻底改变了小模型的训练思路。过去开源社区把精力花在堆砌问答数据上，其实只是让小模型学会了说漂亮话，一碰逻辑就露馅；Orca 证明了只要喂给它高质量的思维链数据，13B 也能拥有扎实的推理底子。

对于想要本地化部署、受限于算力成本的独立开发者和中小团队来说，这种思路指明了一条极具性价比的落地路径。未来即使不用大牌云端 API，手头的本地小模型也能扛起大部分需要讲究逻辑的日常任务了。