微软发布 27 亿参数小模型 Phi-2：推理与代码超 25 倍大模型

大家都在拼命把模型越做越大、堆几十上百卡集群的时候，微软研究院掏出了一个只有 27 亿参数的小家伙，而且在写代码上把 700 亿参数的对手干趴下了。

微软研究院正式发布了小型语言模型 Phi-2。它的参数量只有 2.7B，却能在多项基准测试里越级挑战比自己大几倍甚至几十倍的对手。

96 张 A100 跑 14 天的逆袭

训练一个像样的大模型，通常要成千上万张专业计算卡跑上几个月。但微软给 Phi-2 算的账本很轻巧：一共用了 96 张 A100 GPU，跑了 14 天就训完了。

这不仅是个省钱的故事。整个模型在 1.4T token 的数据上完成了多轮训练，而数据来源正是微软团队一直坚持的「教科书级」高质量语料。

这里面有一部分是专门为了教模型常识和逻辑而生成的合成数据，涵盖了科学、日常活动和心智理论等内容；另一部分则是经过严格过滤、兼具教育价值的网页内容。

更巧妙的是，微软并没有从零开始训练这 27 亿参数。他们直接把上一代 1.3B 的 Phi-1.5 的知识架构嵌入了进来，靠这种增量扩展让模型收敛得更快，性能也直接上了一个台阶。

没做人类对齐，反倒更干净

如果单看学术测试集，Phi-2 的表现确实有些离谱。在 13B 参数以下的基础模型里，它基本横扫了现有的对手。

在代码测试 MBPP 和 HumanEval 上，它的综合得分达到 53.7，不仅远甩 7B 和 13B 的 Llama-2，连 70B 的 Llama-2 也只有 38.3。在数学推理上，它打出 61.1 分，逼近了 70B 庞然大物的 64.1 分。

就连 Google 刚刚公布的 Gemini Nano 2（3.2B 参数），在 Phi-2 面前也没占到便宜。在 Big Bench Hard 测试中，Phi-2 跑出了 59.3 分，直接把 Nano 2 的 42.4 分甩开了一大截。

更有意思的是安全表现。Phi-2 目前只是一个纯粹的基础模型，完全没做过基于人类反馈的强化学习（RLHF），也没做指令微调。

但微软测试发现，它在毒性和偏见方面的控制，反而比不少做过安全对齐的开源模型还要好。原因依然来自源头：只要不给模型吃垃圾数据，它就不太会吐出垃圾话。

目前 Phi-2 已经上架到了 Azure AI Studio 的模型库中，主要面向研究人员开放探索。

为什么重要

这篇研究最打动我们的地方，在于它证明了「大力出奇迹」不是唯一的路线。如果你是端侧开发者或者硬件受限的独立研究者，Phi-2 让你看到了在笔记本甚至手机上跑高水平推理模型的实际希望。

对整个行业来说，微软是在用实际行动重写缩放法则的定义。过去大家默认参数规模决定智能上限，现在高质量合成数据加知识继承，把 2.7B 模型的推理水准硬生生抬到了 13B 甚至 70B 梯队。这会倒逼那些只顾着往池子里倒海量网络垃圾爬虫数据的团队，把精力调回到数据工程上。

不过在我们看来，隐患也摆在眼前。合成数据教出来的模型虽然做题漂亮、测试集分数极高，但这种「应试教育」到底能不能撑得住真实复杂场景的严苛考验，还得打个问号。没有经过指令微调和大规模对话实测，普通开发者拿来做实际业务还得自己补齐工程链条。但无论如何，端侧小模型这扇门，已经被微软推得更开了。