AMD 发布首款小语言模型 AMD-135M:主打投机解码加速推理
AMD 公布首个小语言模型 AMD-135M 系列,包含基础版与代码特化版两款模型。该系列基于 Llama 架构,由 4 个 AMD MI250 节点训练而成,核心卖点是利用投机解码技术充当草稿模型以加速大模型推理,瞄准企业私有化部署需求。
AMD 公布首个小语言模型 AMD-135M 系列,包含基础版与代码特化版两款模型。该系列基于 Llama 架构,由 4 个 AMD MI250 节点训练而成,核心卖点是利用投机解码技术充当草稿模型以加速大模型推理,瞄准企业私有化部署需求。
AMD 联合 TensorStack 推出本地 AI 套件 Amuse 2.0 Beta,主打完全在本地运行的生图体验。软件无需命令行,提供「EZ 模式」降低门槛;最值得关注的是引入 XDNA 超分辨率技术,生图末期可直接输出 2 倍尺寸画面。不过硬件有一定门槛,需配备指定的 Ryzen 或 Radeon 设备。
MLCommons 公布最新 MLPerf 推理评测结果,Nvidia 携 H200 参测全部项目,配合 TensorRT-LLM 表现强劲,其推理业务已占数据中心收入约 40%。Intel 提交了 Gaudi2 与至强成绩,而 AMD MI300 再次缺席。
微软公布全新 Windows API「DirectSR」,联合 Nvidia、AMD 和 Intel 统一游戏超分辨率支持。开发者只需接入一套统一代码,即可同时兼容 DLSS、FSR 和 XeSS。微软称其为连接游戏与超分技术的「缺失一环」,将很快在 Agility SDK 预览版中上线。
周三,安全机构 Trail of Bits 披露 Apple、AMD 与高通 GPU 存在名为 LeftoverLocals 的漏洞,攻击者可从显存中窃取大模型对话及模型权重。漏洞可导致 5MB 至 180MB 数据泄露。苹果 M3 和 A17 已修复,但大量旧款设备仍存风险。
AMD 推出 Instinct MI300X 加速卡与 MI300A APU,瞄准大模型训练与推理。官方称其在运行 Llama 2 时推理性能是英伟达 H100 的 1.4 倍,微软与 Meta 均已确认采用;同时发布的还有集成 NPU 的 Ryzen 8040 笔记本芯片。
AMD 宣布签署协议收购开源 AI 软件初创公司 Nod.ai。Nod.ai 是 SHARK 与 Torch-MLIR 的核心贡献者,其编译器技术可降低多架构部署门槛。AMD 正借此加速构建开源软件生态,追赶竞争对手。
美国政府扩大高端 AI 芯片出口限制,要求 Nvidia 和 AMD 在向中东部分国家出口 A100、H100 等芯片前必须取得许可。两家公司均表示该限制短期内不会对营收产生实质影响。最值得关注的是,这意味着针对尖端算力的出口审查正在向全球更多区域扩散。
Nvidia 发布 Q2 2024 财报,单季营收 135 亿美元,净利润达 61.88 亿美元,同比暴涨 843%。其中数据中心业务创下 103.2 亿美元纪录,单季翻倍。生成式 AI 爆发让其赚得盆满钵满,下季度营收预期更喊到 160 亿美元。
AMD 举办数据中心与 AI 技术发布会,CEO 苏姿丰展示了新一代服务器产品与路线图。其中 Instinct MI300 加速芯片成为核心看点,被列为其 AI 战略的首要重点,直接对标英伟达的 Hopper 架构。
AMD 正式加入 Hugging Face 硬件合作伙伴计划,双方合作优化 AMD 芯片上的大模型训练与推理。transformers 库将深度集成 ROCm SDK,让 LLaMA 等主流模型开箱即用。这为开发者在英伟达之外提供了更高性价比的硬件选择。
据彭博社报道,微软正与 AMD 合作提升其 GPU 处理 AI 负载的能力,并提供工程资源与支持。此举旨在削弱 Nvidia 在 AI 硬件市场的垄断地位,以降低运行大模型的高昂服务器成本。不过微软断然否认了 AMD 参与其自研 Athena 芯片的传闻。
据爆料者 CapFrameX 透露,Nvidia 计划引入 AI 优化 GeForce 显卡驱动,针对指令、吞吐量和硬件利用率进行调优。爆料称平均性能预计提升约 10%,部分游戏最高可达 30%,最早或于今年第一季度推出。
AMD 发布专为笔记本设计的锐龙 7040 系列处理器。该系列采用 Zen 4 架构,并首次在 x86 芯片中集成了名为 Ryzen AI 的独立硬件 AI 引擎。AMD 称其性能和能效均超越苹果 M2,搭载该芯片的首批笔记本预计 3 月出货。