微软发布三款 Phi-3.5 小模型：MIT 协议开源，支持 128k 上下文

微软把最新的 Phi-3.5 系列小模型完整放了出来，全系采用几乎没有任何商用限制的 MIT 协议。如果你需要低成本在本地或边缘设备上跑大模型，这组工具值得立刻放进你的测试列表。

这次更新一共包含三款模型：38 亿参数的 Phi-3.5-mini-instruct、419 亿总参数但激活参数仅 66 亿的 Phi-3.5-MoE-instruct，以及 41.5 亿参数的多模态模型 Phi-3.5-vision-instruct。三款模型全都标配 128k 的长上下文窗口。

三款模型各负责什么

最小的 Mini 专为算力受限的设备打造，主打代码生成、数学题与逻辑推理。根据基准测试，它在测试长文本代码理解的 RepoQA 上，击败了体积更大的 Llama-3.1-8B-instruct 和 Mistral-7B-instruct。它的训练成本也不算夸张，微软用了 512 张 H100 显卡，在 3.4 万亿 token 上跑了 10 天。

MoE 版本则是该系列第一次引入混合专家架构。它虽然总参数有 419 亿，但实际推理时只调用 66 亿激活参数，速度和显存占用都更接近小模型。在 5-shot MMLU 测试里，它的表现超过了 GPT-4o mini，同样在 RepoQA 上保持领先。这个模型用了 512 张 H100 跑了 23 天，训练语料达 4.9 万亿 token。

多模态的 Vision 则整合了文本与图像输入，能处理 OCR、图表表格解析以及视频摘要。借助 128k 上下文，它能一口气读入并理解多帧连续画面。微软用 256 张 A100 训练了 6 天，数据重点放在了高推理密度的合成数据和筛选过的公开语料上。

怎么跑起来与去哪找

三款模型现在都可以直接在 Hugging Face 免费下载权重，包括模型卡片、推理脚本和配置说明均已公开。

因为用的是纯粹的 MIT 协议，个人开发者或企业可以完全自由地修改、微调、集成甚至闭源商用，不用担心 Meta 式的月活用户限制或专有授权条款。

硬件要求方面，Mini 和 Vision 可以非常轻松地塞进单张消费级显卡甚至是高配笔记本运行；MoE 模型虽然激活参数小，但完整权重仍需占用对应显存，部署时更适合单卡大显存或轻量级服务器配置。

为什么重要

这套模型最适合那些想在本地做代码助手、长文档检索，或者对数据隐私有极高要求的开发者。尤其是 6.6B 激活参数的 MoE，在性能逼近甚至超越 GPT-4o mini 的同时，大幅压低了每次调用的计算开销。

和市面上主流的 Llama 3.1 相比，Phi-3.5 最大的杀手锏不是极限能力，而是极致的「参数性价比」与彻底自由的 MIT 协议。微软把顶尖的后训练小模型以最开放的形式交出来，给端侧 AI 开发者省下了巨大的部署与合规成本。