微軟釋出 Phi-4 小模型：支援音畫同傳，端側跑出多模態

以前想讓邊緣裝置既聽得懂人話，又看得懂照片，通常得在後臺串聯幾個不同的模型，不僅速度慢，記憶體也容易被吃光。

微軟推出了兩款新的小模型：56 億引數的 Phi-4-multimodal 和 38 億引數的 Phi-4-mini。這也是微軟第一次把語音、視覺和文本塞進同一個小模型架構裡，目前已經在 Azure AI Foundry、Hugging Face 和輝達 API Catalog 上線。

把聽覺和視覺揉進一個 5.6B 小模型

過去很多所謂的多模態小模型，其實是語言模型外掛一個語音識別模組或視覺編碼器。微軟這次在 Phi-4-multimodal 上用了一套混合低秩自適應架構，把語音、視覺和語言的處理統一收攏到了同一個表徵空間裡。

這種設計讓它能同時接收合成語音提問和圖表文件，並直接完成跨模態推理。按照微軟給出的測試，它在 Hugging Face 的 OpenASR 語音識別榜單上拿下了 6.14% 的詞錯誤率，重新整理了之前 6.5% 的最好成績，超過了專用的 WhisperV3。

在視覺理解上，官方稱其在文件 OCR 和數理科學推理上的表現，追平甚至超越了 Gemini-2-Flash-lite-preview 和 Claude 3.5 Sonnet。不過微軟也坦白講，因為體積只有 56 億引數，它的知識儲備有限，在開放式的純語音問答上比起 GPT-4o 即時版或 Gemini 2.0 Flash 依然有差距。

3.8B 的純文本快刀與 128k 視窗

另一款同時釋出的 Phi-4-mini 走的是輕巧純文本路線。它是一個 38 億引數的稠密解碼器架構，詞表擴大到了 20 萬，支援高達 128k 的上下文長度。

雖然體量更小，但它強化了函式呼叫、指令遵循和程式碼推理能力。微軟演示了讓它作為智慧家居中控 Agent，自己拆解使用者需求並呼叫對應的外部 API。

微軟 Windows 應用科學副總裁 Vivek Pradeep 透露，未來的 Copilot+ PC 會直接藉助這類小模型來跑端側智慧。同時，日本企業 Headwaters 的董事 Masaya Nishimaki 也表示，正在利用這類端側小模型在工廠異常檢測和醫療診斷等弱網、高保密場景中落地。

為什麼重要

我們認為，端側多模態的競爭邏輯正在發生變化。過去大家做小模型，大多隻能把單一模態做好，做語音的就做不了視覺；但 Phi-4-multimodal 證明了 50 億級別的模型完全能夠同時承載全模態輸入。

對於想要做車載助手、智慧硬體或本地應用的開發者來說，這非常划算。它可以在本地低功耗晶片上跑起來，不再需要自己拼裝 Whisper 和視覺模型，大幅砍掉了系統延遲和記憶體開銷。微調門檻也很低，官方資料顯示 8 張 A100 跑 5 個小時就能完成醫療多模態問答的適配。

不過它的短板同樣清晰。小尺寸意味著「通識知識庫」嚴重縮水，如果脫離了搜尋或外部工具支援，直接拿它來做開放領域的常識問答很容易翻車。看起來，這類端側小多模態模型的最佳宿命不是充當全知全能的超級大腦，而是作為帶眼睛和耳朵的執行工具人，搭配端側系統介面快速幹活。