跳到正文
IFAI

大模型

微軟釋出 Phi-3 Mini:38 億引數,號稱比肩 GPT-3.5

首次發布 傳播指數 55

微軟釋出輕量級 AI 模型 Phi-3 Mini,引數量僅 38 億。該模型利用大模型生成的「兒童故事」資料訓練,官方稱其表現接近體量大它十倍的模型。模型現已上線 Azure、Hugging Face 和 Ollama,後續還將推出 7B 和 14B 版本。

微軟釋出 Phi-3 Mini:38 億引數,號稱比肩 GPT-3.5
圖:theverge.com

Phi-3 Mini 是微軟剛開源的輕量級語言模型,引數量只有 38 億(3.8B),核心目標就是把接近 GPT-3.5 級別的能力直接塞進手機和筆記型電腦裡本地跑。

這意味著你不需要聯網,也不用把敏感資料傳送到雲端資料中心,就能在個人裝置上獲得像樣的文本處理、程式設計輔助和邏輯推理支援。

它是怎麼做到的

小模型要變聰明,關鍵在訓練資料。大模型通常是抓取整個網際網路的海量文本,裡面混雜了大量低質噪音,而 Phi-3 走的是完全相反的「教材路線」。

微軟研發團隊受到兒童通過睡前故事學習語言的啟發,先整理出了一個 3000 多詞的精選詞表,然後讓其他大模型按照這個詞表生成大量類似兒童讀物的合成數據。

用簡單語法和清晰邏輯去講複雜話題,就成了 Phi-3 的核心訓練語料。按微軟的話說,前面的 Phi-1 重點攻克程式碼,Phi-2 開始具備初步推理能力,而到了 Phi-3,程式碼和推理表現都有了明顯長進。

效能表現與侷限

在實際表現上,微軟 Azure AI 副總裁 Eric Boyd 表示,Phi-3 Mini 基本達到了 GPT-3.5 的水平,微軟研究副總裁 Sébastien Bubeck 也提到它的推理成本遠低於大模型,執行開銷幾乎只有十倍體量模型的十分之一。

不過,它的短板同樣很實在。因為沒有吞下整個網際網路的資料,Phi-3 Mini 在常識廣度上完全無法和 GPT-4 這種龐然大物相比,不適合拿來當全知全能的百科問答機器人。

此外,它更適合處理特定垂直任務。比如結合企業內部相對小規模的資料集做私有化定製,或者在端側做文本摘要和程式碼補全,既省算力又保隱私。

怎麼跑起來

Phi-3 Mini 目前已經開放下載和呼叫,開發者可以直接在 Hugging Face 下載權重,或者通過 Ollama 在本地命令列一鍵拉取執行。

如果你在做雲端整合,它也已經同步上線了微軟 Azure 平臺。微軟後續還會推出 70 億引數的 Phi-3 Small 和 140 億引數的 Phi-3 Medium。

為什麼重要

如果你想在本地裝置或者邊緣硬體上跑一個不依賴網路的助手,或者擔心公司敏感程式碼外洩,Phi-3 Mini 非常值得立刻拉下來試一試。3.8B 的體量對本地視訊記憶體和記憶體極度友好,普通筆記本甚至手機晶片都能較輕鬆地跑起來。

相比 Google 的 Gemma 2B、7B 以及 Meta 剛釋出的 Llama 3 8B,微軟用「合成教材」把小模型的程式碼與邏輯能力頂到了新高度。它證明了小模型沒必要死磕全網百科知識,只要資料夠乾淨,小身材也能在具體工作任務裡派上大用場。

來源 (2)

  1. [1]
    theverge.com(在新分頁開啟)原文theverge.com
  2. [2]
    cnet.com(在新分頁開啟)報導cnet.com

話題追蹤Microsoft Phi-3 模型系列

這個話題的歷次新聞,最新的在上面。

  1. 微軟開放 Phi-3 輕量模型系列:同步預覽 42 億引數視覺版
  2. 微軟釋出 Phi-3 Mini:38 億引數,號稱比肩 GPT-3.5本則

每日 AI 內容精選