微軟釋出三款 Phi-3.5 小模型：MIT 協議開源，支援 128k 上下文

微軟把最新的 Phi-3.5 系列小模型完整放了出來，全系採用幾乎沒有任何商用限制的 MIT 協議。如果你需要低成本在本地或邊緣裝置上跑大模型，這組工具值得立刻放進你的測試列表。

這次更新一共包含三款模型：38 億引數的 Phi-3.5-mini-instruct、419 億總引數但啟用引數僅 66 億的 Phi-3.5-MoE-instruct，以及 41.5 億引數的多模態模型 Phi-3.5-vision-instruct。三款模型全都標配 128k 的長上下文視窗。

三款模型各負責什麼

最小的 Mini 專為算力受限的裝置打造，主打程式碼生成、數學題與邏輯推理。根據基準測試，它在測試長文本程式碼理解的 RepoQA 上，擊敗了體積更大的 Llama-3.1-8B-instruct 和 Mistral-7B-instruct。它的訓練成本也不算誇張，微軟用了 512 張 H100 顯示卡，在 3.4 萬億 token 上跑了 10 天。

MoE 版本則是該系列第一次引入混合專家架構。它雖然總引數有 419 億，但實際推理時只調用 66 億啟用引數，速度和視訊記憶體佔用都更接近小模型。在 5-shot MMLU 測試裡，它的表現超過了 GPT-4o mini，同樣在 RepoQA 上保持領先。這個模型用了 512 張 H100 跑了 23 天，訓練語料達 4.9 萬億 token。

多模態的 Vision 則整合了文本與影像輸入，能處理 OCR、圖表表格解析以及影片摘要。藉助 128k 上下文，它能一口氣讀入並理解多幀連續畫面。微軟用 256 張 A100 訓練了 6 天，資料重點放在了高推理密度的合成數據和篩選過的公開語料上。

怎麼跑起來與去哪找

三款模型現在都可以直接在 Hugging Face 免費下載權重，包括模型卡片、推理指令碼和配置說明均已公開。

因為用的是純粹的 MIT 協議，個人開發者或企業可以完全自由地修改、微調、整合甚至閉源商用，不用擔心 Meta 式的月活使用者限制或專有授權條款。

硬體要求方面，Mini 和 Vision 可以非常輕鬆地塞進單張消費級顯示卡甚至是高配筆記本執行；MoE 模型雖然啟用引數小，但完整權重仍需佔用對應視訊記憶體，部署時更適合單卡大視訊記憶體或輕量級伺服器配置。

為什麼重要

這套模型最適合那些想在本地做程式碼助手、長文件檢索，或者對資料隱私有極高要求的開發者。尤其是 6.6B 啟用引數的 MoE，在效能逼近甚至超越 GPT-4o mini 的同時，大幅壓低了每次呼叫的計算開銷。

和市面上主流的 Llama 3.1 相比，Phi-3.5 最大的殺手鐧不是極限能力，而是極致的「引數價效比」與徹底自由的 MIT 協議。微軟把頂尖的後訓練小模型以最開放的形式交出來，給端側 AI 開發者省下了巨大的部署與合規成本。