AMD 发布首款小语言模型 AMD-135M:主打投机解码加速推理
AMD 公布首个小语言模型 AMD-135M 系列,包含基础版与代码特化版两款模型。该系列基于 Llama 架构,由 4 个 AMD MI250 节点训练而成,核心卖点是利用投机解码技术充当草稿模型以加速大模型推理,瞄准企业私有化部署需求。
AMD 公布首个小语言模型 AMD-135M 系列,包含基础版与代码特化版两款模型。该系列基于 Llama 架构,由 4 个 AMD MI250 节点训练而成,核心卖点是利用投机解码技术充当草稿模型以加速大模型推理,瞄准企业私有化部署需求。