微软发布 14B 小模型 Phi-4:强化数学推理,开启研究预览
微软推出最新小语言模型 Phi-4,参数量为 140 亿。新模型依靠高质量合成数据与后训练优化,重点提升了数学推理能力,对标 GPT-4o mini 等竞品。目前仅在 Azure AI Foundry 平台面向研究用途限量开放。
AI 训练数据快被人类挖空了,大模型实验室正被逼着自己造数据喂自己,微软的小模型团队刚刚交出了一张答卷。
微软发布了小语言模型 Phi 系列的最新成员 Phi-4。这次它把体量定在 140 亿参数(14B),直接把枪口对准了 GPT-4o mini、Gemini 2.0 Flash 和 Claude 3.5 Haiku 这批以轻量和性价比见长的同级对手。
不过,普通开发者想直接玩上还得再等等。目前 Phi-4 只是有限研究预览状态,周四晚间仅上线了微软刚推出的 Azure AI Foundry 开发平台,而且受制于微软的研究许可协议,目前只能用于科研测试。
拿合成数据死磕数学题
微软宣称 Phi-4 在多个领域相比前作都有提升,尤其是解决数学问题的能力有了明显跃升。
这背后的底气主要来自数据配方的调整。微软表示,这次的进步归功于高质量合成数据集,以及高质量人类生成内容的组合训练,外加一些尚未对外公开细节的后训练改进。
业内对合成数据和后训练的狂热不是没有原因。Scale AI 首席执行官 Alexandr Wang 周四在社交平台发文坦言,行业已经撞上了预训练数据墙,印证了近几周关于人类高质量语料即将耗尽的各种行业传闻。当公开互联网的优质数据被大模型吞噬殆尽,用小模型生成筛选高质量语料成了大家不得不走的路径。
灵魂人物出走后的第一次大考
除了技术指标,Phi-4 身上还背着不少人事关注。这是在原微软 AI 副总裁 Sébastien Bubeck 离职后,微软推出的第一款 Phi 系列模型。
作为打造 Phi 系列小模型的关键灵魂人物,Bubeck 在 10 月离开了微软,转投 OpenAI。外界此前一直在观望,失去关键负责人的微软小模型团队,能不能维持原本的技术推进节奏。Phi-4 的亮相,算是在这个微妙时刻给外界的一记回应。
为什么重要
对开发者和企业用户来说,14B 级别的模型是兼顾本地化部署成本和推理性能的甜蜜点。如果 Phi-4 的数学和逻辑推理能力确实像官方说的那样大幅超越前代,那在金融分析、代码生成和边缘计算等场景里,它完全有潜力替代更贵的大模型。但现实是它现在被锁在 Azure AI Foundry 的研究许可协议里,商用落地还得等正式版本,现阶段对绝大多数人来说只能远观。
对整个 AI 行业而言,Phi-4 成了验证合成数据路线的一个活标本。既然预训练数据墙已经真真切切砸在大家眼前,光靠暴力堆网页文本已经走不通了,靠精心构建的合成数据来拉升特定推理能力,正在从小众技巧变成行业标配。
我们认为,微软这步棋走得很实际。与其跟几千亿参数的巨无霸拼通识储备,不如在 14B 这个体量把数学和逻辑做透,为小模型打赢特定战场立下标杆。但隐患同样明显,目前公布的细节太少,连后训练具体做了什么都没讲透,在缺乏第三方独立跑分的情况下,合成数据会不会带来更隐蔽的模型幻觉,依然需要社区在拿到模型后打个问号。
来源 (1)
- techcrunch.com(在新标签页打开)原文techcrunch.com
话题追踪Microsoft Phi-4 发布
- 微软发布 Phi-4 小模型:支持音画同传,端侧跑出多模态
- 微软在 Hugging Face 开源 Phi-4 权重:14B 参数采用 MIT 协议
- 微软发布 14B 小模型 Phi-4:强化数学推理,开启研究预览本条