AMD 发布首款小语言模型 AMD-135M：主打投机解码加速推理

大家都在卷动辄千亿甚至万亿参数的巨无霸模型，AMD 却反向掏出了一个只有 1.35 亿参数的超小模型。

别误会，AMD 不是要用它跟 GPT 抢着写诗，而是给那些庞大的语言模型找了个低成本的「预读秘书」。

AMD 近日公布了首个自研小语言模型 AMD-135M。这个模型属于 Llama 家族，主要面向企业私有化部署。虽然 AMD 前阵子刚宣布收购欧洲 AI 实验室 Silo AI，但由于这笔收购还在等待监管机构审批，据外媒推测，这个模型大概率还没来得及借用 Silo AI 的手笔，而是 AMD 自家团队的一次实战练兵。

找个小个子来当「草稿纸」

AMD-135M 核心的绝活叫推测解码。说白了，以前大模型吐字是一个词一个词往外蹦，速度慢得很。

推测解码则是让 AMD-135M 这种轻量级「草稿模型」在单次前向传播中，快速蒙出一串候选词。随后，再交给背后真正的大模型去逐个核验和修正，答对了就直接采纳。

这种做法可以让多个 token 同时生成，推理延迟瞬间被打下来。不过天下没有免费的午餐，由于频繁在两个模型之间传递和比对数据，数据吞吐变多了，能耗也会相应上涨。

这次 AMD 一口气拿出了两个版本。基础版叫 AMD-Llama-135M，是在 6700 亿通用 token 上从头训练出来的。整个训练过程用了 4 个 8 路 AMD Instinct MI250 节点，一共只花了 6 天时间。

另一个专门针对编程场景的叫 AMD-Llama-135M-code，在基础版上追加了 200 亿代码相关数据进行微调，使用同样的硬件花了 4 天搞定。在 AMD 自家的性能测试中，这两个小模型都拿出了不错的数据。

为什么重要

我们认为，AMD 这次掏出 135M 小模型，最聪明的点在于它开始学着在软件侧做局了。

在很多人的印象里，AMD 搞 AI 就是卖硬件，而且软件栈一直被英伟达的 CUDA 压着打。但这次 AMD 亲自下场训小模型，摆明了是想告诉企业客户：用 AMD 的显卡不仅能跑大模型推理，还能搭配我们自己的轻量模型做推测解码加速。

对于企业开发者来说，如果你们公司正打算在本地机房私有化部署大模型，推理延迟和显存开销通常是最大的拦路虎。135M 这种体量的模型几乎不占地方，却能帮后台的大模型把出字速度拉高一大截，这种性价比极高的加速方案非常适合拿去测试。

不过隐患也写在明处。推测解码的收益高度依赖草稿模型的命中率，如果大模型频繁否决小模型的预测，不仅省不下时间，多出来的通信还会白白浪费算力和电费。

另外，AMD 这次亮出来的成绩单全部来自上一代 MI250 硬件，不仅有自己出题自己打分的嫌疑，也让人好奇它在最新的 MI300X 甚至下一代 MI325X 上到底能跑多快。看起来，AMD 正试图在英伟达重兵把守的推理市场，用软硬件捆绑撕开一道缝隙。