微软发布 Phi-4 小模型：支持音画同传，端侧跑出多模态

以前想让边缘设备既听得懂人话，又看得懂照片，通常得在后台串联几个不同的模型，不仅速度慢，内存也容易被吃光。

微软推出了两款新的小模型：56 亿参数的 Phi-4-multimodal 和 38 亿参数的 Phi-4-mini。这也是微软第一次把语音、视觉和文本塞进同一个小模型架构里，目前已经在 Azure AI Foundry、Hugging Face 和英伟达 API Catalog 上线。

把听觉和视觉揉进一个 5.6B 小模型

过去很多所谓的多模态小模型，其实是语言模型外挂一个语音识别模块或视觉编码器。微软这次在 Phi-4-multimodal 上用了一套混合低秩自适应架构，把语音、视觉和语言的处理统一收拢到了同一个表征空间里。

这种设计让它能同时接收合成语音提问和图表文档，并直接完成跨模态推理。按照微软给出的测试，它在 Hugging Face 的 OpenASR 语音识别榜单上拿下了 6.14% 的词错误率，刷新了之前 6.5% 的最好成绩，超过了专用的 WhisperV3。

在视觉理解上，官方称其在文档 OCR 和数理科学推理上的表现，追平甚至超越了 Gemini-2-Flash-lite-preview 和 Claude 3.5 Sonnet。不过微软也坦白讲，因为体积只有 56 亿参数，它的知识储备有限，在开放式的纯语音问答上比起 GPT-4o 实时版或 Gemini 2.0 Flash 依然有差距。

3.8B 的纯文本快刀与 128k 窗口

另一款同时发布的 Phi-4-mini 走的是轻巧纯文本路线。它是一个 38 亿参数的稠密解码器架构，词表扩大到了 20 万，支持高达 128k 的上下文长度。

虽然体量更小，但它强化了函数调用、指令遵循和代码推理能力。微软演示了让它作为智能家居中控 Agent，自己拆解用户需求并调用对应的外部 API。

微软 Windows 应用科学副总裁 Vivek Pradeep 透露，未来的 Copilot+ PC 会直接借助这类小模型来跑端侧智能。同时，日本企业 Headwaters 的董事 Masaya Nishimaki 也表示，正在利用这类端侧小模型在工厂异常检测和医疗诊断等弱网、高保密场景中落地。

为什么重要

我们认为，端侧多模态的竞争逻辑正在发生变化。过去大家做小模型，大多只能把单一模态做好，做语音的就做不了视觉；但 Phi-4-multimodal 证明了 50 亿级别的模型完全能够同时承载全模态输入。

对于想要做车载助手、智能硬件或本地应用的开发者来说，这非常划算。它可以在本地低功耗芯片上跑起来，不再需要自己拼装 Whisper 和视觉模型，大幅砍掉了系统延迟和内存开销。微调门槛也很低，官方数据显示 8 张 A100 跑 5 个小时就能完成医疗多模态问答的适配。

不过它的短板同样清晰。小尺寸意味着「通识知识库」严重缩水，如果脱离了搜索或外部工具支持，直接拿它来做开放领域的常识问答很容易翻车。看起来，这类端侧小多模态模型的最佳宿命不是充当全知全能的超级大脑，而是作为带眼睛和耳朵的执行工具人，搭配端侧系统接口快速干活。