微软发布 Phi-3 Mini:38 亿参数,号称比肩 GPT-3.5
微软发布轻量级 AI 模型 Phi-3 Mini,参数量仅 38 亿。该模型利用大模型生成的「儿童故事」数据训练,官方称其表现接近体量大它十倍的模型。模型现已上线 Azure、Hugging Face 和 Ollama,后续还将推出 7B 和 14B 版本。

Phi-3 Mini 是微软刚开源的轻量级语言模型,参数量只有 38 亿(3.8B),核心目标就是把接近 GPT-3.5 级别的能力直接塞进手机和笔记本电脑里本地跑。
这意味着你不需要联网,也不用把敏感数据发送到云端数据中心,就能在个人设备上获得像样的文本处理、编程辅助和逻辑推理支持。
它是怎么做到的
小模型要变聪明,关键在训练数据。大模型通常是抓取整个互联网的海量文本,里面混杂了大量低质噪音,而 Phi-3 走的是完全相反的「教材路线」。
微软研发团队受到儿童通过睡前故事学习语言的启发,先整理出了一个 3000 多词的精选词表,然后让其他大模型按照这个词表生成大量类似儿童读物的合成数据。
用简单语法和清晰逻辑去讲复杂话题,就成了 Phi-3 的核心训练语料。按微软的话说,前面的 Phi-1 重点攻克代码,Phi-2 开始具备初步推理能力,而到了 Phi-3,代码和推理表现都有了明显长进。
性能表现与局限
在实际表现上,微软 Azure AI 副总裁 Eric Boyd 表示,Phi-3 Mini 基本达到了 GPT-3.5 的水平,微软研究副总裁 Sébastien Bubeck 也提到它的推理成本远低于大模型,运行开销几乎只有十倍体量模型的十分之一。
不过,它的短板同样很实在。因为没有吞下整个互联网的数据,Phi-3 Mini 在常识广度上完全无法和 GPT-4 这种庞然大物相比,不适合拿来当全知全能的百科问答机器人。
此外,它更适合处理特定垂直任务。比如结合企业内部相对小规模的数据集做私有化定制,或者在端侧做文本摘要和代码补全,既省算力又保隐私。
怎么跑起来
Phi-3 Mini 目前已经开放下载和调用,开发者可以直接在 Hugging Face 下载权重,或者通过 Ollama 在本地命令行一键拉取运行。
如果你在做云端集成,它也已经同步上线了微软 Azure 平台。微软后续还会推出 70 亿参数的 Phi-3 Small 和 140 亿参数的 Phi-3 Medium。
为什么重要
如果你想在本地设备或者边缘硬件上跑一个不依赖网络的助手,或者担心公司敏感代码外泄,Phi-3 Mini 非常值得立刻拉下来试一试。3.8B 的体量对本地显存和内存极度友好,普通笔记本甚至手机芯片都能较轻松地跑起来。
相比 Google 的 Gemma 2B、7B 以及 Meta 刚发布的 Llama 3 8B,微软用「合成教材」把小模型的代码与逻辑能力顶到了新高度。它证明了小模型没必要死磕全网百科知识,只要数据够干净,小身材也能在具体工作任务里派上大用场。
来源 (2)
- theverge.com(在新标签页打开)原文theverge.com
- cnet.com(在新标签页打开)报道cnet.com
话题追踪Microsoft Phi-3 模型系列
- 微软开放 Phi-3 轻量模型系列:同步预览 42 亿参数视觉版
- 微软发布 Phi-3 Mini:38 亿参数,号称比肩 GPT-3.5本条