AMD 釋出首款小語言模型 AMD-135M：主打投機解碼加速推理

大家都在捲動輒千億甚至萬億引數的巨無霸模型，AMD 卻反向掏出了一個只有 1.35 億引數的超小模型。

別誤會，AMD 不是要用它跟 GPT 搶著寫詩，而是給那些龐大的語言模型找了個低成本的「預讀秘書」。

AMD 近日公佈了首個自研小語言模型 AMD-135M。這個模型屬於 Llama 家族，主要面向企業私有化部署。雖然 AMD 前陣子剛宣佈收購歐洲 AI 實驗室 Silo AI，但由於這筆收購還在等待監管機構審批，據外媒推測，這個模型大機率還沒來得及借用 Silo AI 的手筆，而是 AMD 自家團隊的一次實戰練兵。

找個小個子來當「草稿紙」

AMD-135M 核心的絕活叫推測解碼。說白了，以前大模型吐字是一個詞一個詞往外蹦，速度慢得很。

推測解碼則是讓 AMD-135M 這種輕量級「草稿模型」在單次前向傳播中，快速蒙出一串候選詞。隨後，再交給背後真正的大模型去逐個核驗和修正，答對了就直接採納。

這種做法可以讓多個 token 同時生成，推理延遲瞬間被打下來。不過天下沒有免費的午餐，由於頻繁在兩個模型之間傳遞和比對資料，資料吞吐變多了，能耗也會相應上漲。

這次 AMD 一口氣拿出了兩個版本。基礎版叫 AMD-Llama-135M，是在 6700 億通用 token 上從頭訓練出來的。整個訓練過程用了 4 個 8 路 AMD Instinct MI250 節點，一共只花了 6 天時間。

另一個專門針對程式設計場景的叫 AMD-Llama-135M-code，在基礎版上追加了 200 億程式碼相關資料進行微調，使用同樣的硬體花了 4 天搞定。在 AMD 自家的效能測試中，這兩個小模型都拿出了不錯的資料。

為什麼重要

我們認為，AMD 這次掏出 135M 小模型，最聰明的點在於它開始學著在軟體側做局了。

在很多人的印象裡，AMD 搞 AI 就是賣硬體，而且軟體棧一直被輝達的 CUDA 壓著打。但這次 AMD 親自下場訓小模型，擺明了是想告訴企業客戶：用 AMD 的顯示卡不僅能跑大模型推理，還能搭配我們自己的輕量模型做推測解碼加速。

對於企業開發者來說，如果你們公司正打算在本地機房私有化部署大模型，推理延遲和視訊記憶體開銷通常是最大的攔路虎。135M 這種體量的模型幾乎不佔地方，卻能幫後臺的大模型把出字速度拉高一大截，這種價效比極高的加速方案非常適合拿去測試。

不過隱患也寫在明處。推測解碼的收益高度依賴草稿模型的命中率，如果大模型頻繁否決小模型的預測，不僅省不下時間，多出來的通訊還會白白浪費算力和電費。

另外，AMD 這次亮出來的成績單全部來自上一代 MI250 硬體，不僅有自己出題自己打分的嫌疑，也讓人好奇它在最新的 MI300X 甚至下一代 MI325X 上到底能跑多快。看起來，AMD 正試圖在輝達重兵把守的推理市場，用軟硬體捆綁撕開一道縫隙。