微軟釋出 27 億引數小模型 Phi-2：推理與程式碼超 25 倍大模型

大家都在拼命把模型越做越大、堆幾十上百卡叢集的時候，微軟研究院掏出了一個只有 27 億引數的小傢伙，而且在寫程式碼上把 700 億引數的對手幹趴下了。

微軟研究院正式釋出了小型語言模型 Phi-2。它的引數量只有 2.7B，卻能在多項基準測試裡越級挑戰比自己大幾倍甚至幾十倍的對手。

96 張 A100 跑 14 天的逆襲

訓練一個像樣的大模型，通常要成千上萬張專業計算卡跑上幾個月。但微軟給 Phi-2 算的賬本很輕巧：一共用了 96 張 A100 GPU，跑了 14 天就訓完了。

這不僅是個省錢的故事。整個模型在 1.4T token 的資料上完成了多輪訓練，而資料來源正是微軟團隊一直堅持的「教科書級」高質量語料。

這裡面有一部分是專門為了教模型常識和邏輯而生成的合成數據，涵蓋了科學、日常活動和心智理論等內容；另一部分則是經過嚴格過濾、兼具教育價值的網頁內容。

更巧妙的是，微軟並沒有從零開始訓練這 27 億引數。他們直接把上一代 1.3B 的 Phi-1.5 的知識架構嵌入了進來，靠這種增量擴充套件讓模型收斂得更快，效能也直接上了一個臺階。

沒做人類對齊，反倒更乾淨

如果單看學術測試集，Phi-2 的表現確實有些離譜。在 13B 引數以下的基礎模型裡，它基本橫掃了現有的對手。

在程式碼測試 MBPP 和 HumanEval 上，它的綜合得分達到 53.7，不僅遠甩 7B 和 13B 的 Llama-2，連 70B 的 Llama-2 也只有 38.3。在數學推理上，它打出 61.1 分，逼近了 70B 龐然大物的 64.1 分。

就連 Google 剛剛公佈的 Gemini Nano 2（3.2B 引數），在 Phi-2 面前也沒佔到便宜。在 Big Bench Hard 測試中，Phi-2 跑出了 59.3 分，直接把 Nano 2 的 42.4 分甩開了一大截。

更有意思的是安全表現。Phi-2 目前只是一個純粹的基礎模型，完全沒做過基於人類反饋的強化學習（RLHF），也沒做指令微調。

但微軟測試發現，它在毒性和偏見方面的控制，反而比不少做過安全對齊的開源模型還要好。原因依然來自源頭：只要不給模型吃垃圾資料，它就不太會吐出垃圾話。

目前 Phi-2 已經上架到了 Azure AI Studio 的模型庫中，主要面向研究人員開放探索。

為什麼重要

這篇研究最打動我們的地方，在於它證明了「大力出奇跡」不是唯一的路線。如果你是端側開發者或者硬體受限的獨立研究者，Phi-2 讓你看到了在筆記本甚至手機上跑高水平推理模型的實際希望。

對整個行業來說，微軟是在用實際行動重寫縮放法則的定義。過去大家預設引數規模決定智慧上限，現在高質量合成數據加知識繼承，把 2.7B 模型的推理水準硬生生抬到了 13B 甚至 70B 梯隊。這會倒逼那些只顧著往池子裡倒海量網路垃圾爬蟲資料的團隊，把精力調回到資料工程上。

不過在我們看來，隱患也擺在眼前。合成數據教出來的模型雖然做題漂亮、測試集分數極高，但這種「應試教育」到底能不能撐得住真實複雜場景的嚴苛考驗，還得打個問號。沒有經過指令微調和大規模對話實測，普通開發者拿來做實際業務還得自己補齊工程鏈條。但無論如何，端側小模型這扇門，已經被微軟推得更開了。