AMD 釋出首款小語言模型 AMD-135M:主打投機解碼加速推理
AMD 公佈首個小語言模型 AMD-135M 系列,包含基礎版與程式碼特化版兩款模型。該系列基於 Llama 架構,由 4 個 AMD MI250 節點訓練而成,核心賣點是利用投機解碼技術充當草稿模型以加速大模型推理,瞄準企業私有化部署需求。
AMD 公佈首個小語言模型 AMD-135M 系列,包含基礎版與程式碼特化版兩款模型。該系列基於 Llama 架構,由 4 個 AMD MI250 節點訓練而成,核心賣點是利用投機解碼技術充當草稿模型以加速大模型推理,瞄準企業私有化部署需求。
AMD 聯合 TensorStack 推出本地 AI 套件 Amuse 2.0 Beta,主打完全在本地執行的生圖體驗。軟體無需命令列,提供「EZ 模式」降低門檻;最值得關注的是引入 XDNA 超解析度技術,生圖末期可直接輸出 2 倍尺寸畫面。不過硬體有一定門檻,需配備指定的 Ryzen 或 Radeon 裝置。
MLCommons 公佈最新 MLPerf 推理評測結果,Nvidia 攜 H200 參測全部專案,配合 TensorRT-LLM 表現強勁,其推理業務已佔資料中心收入約 40%。Intel 提交了 Gaudi2 與至強成績,而 AMD MI300 再次缺席。
微軟公佈全新 Windows API「DirectSR」,聯合 Nvidia、AMD 和 Intel 統一遊戲超解析度支援。開發者只需接入一套統一程式碼,即可同時相容 DLSS、FSR 和 XeSS。微軟稱其為連線遊戲與超分技術的「缺失一環」,將很快在 Agility SDK 預覽版中上線。
週三,安全機構 Trail of Bits 披露 Apple、AMD 與高通 GPU 存在名為 LeftoverLocals 的漏洞,攻擊者可從視訊記憶體中竊取大模型對話及模型權重。漏洞可導致 5MB 至 180MB 資料洩露。蘋果 M3 和 A17 已修復,但大量舊款裝置仍存風險。
AMD 推出 Instinct MI300X 加速卡與 MI300A APU,瞄準大模型訓練與推理。官方稱其在執行 Llama 2 時推理效能是輝達 H100 的 1.4 倍,微軟與 Meta 均已確認採用;同時釋出的還有整合 NPU 的 Ryzen 8040 筆記本晶片。
AMD 宣佈簽署協議收購開源 AI 軟體初創公司 Nod.ai。Nod.ai 是 SHARK 與 Torch-MLIR 的核心貢獻者,其編譯器技術可降低多架構部署門檻。AMD 正藉此加速構建開源軟體生態,追趕競爭對手。
美國政府擴大高階 AI 晶片出口限制,要求 Nvidia 和 AMD 在向中東部分國家出口 A100、H100 等晶片前必須取得許可。兩家公司均表示該限制短期內不會對營收產生實質影響。最值得關注的是,這意味著針對尖端算力的出口審查正在向全球更多區域擴散。
Nvidia 釋出 Q2 2024 財報,單季營收 135 億美元,淨利潤達 61.88 億美元,同比暴漲 843%。其中資料中心業務創下 103.2 億美元紀錄,單季翻倍。生成式 AI 爆發讓其賺得盆滿缽滿,下季度營收預期更喊到 160 億美元。
AMD 舉辦資料中心與 AI 技術釋出會,CEO 蘇姿豐展示了新一代伺服器產品與路線圖。其中 Instinct MI300 加速晶片成為核心看點,被列為其 AI 戰略的首要重點,直接對標輝達的 Hopper 架構。
AMD 正式加入 Hugging Face 硬體合作伙伴計劃,雙方合作最佳化 AMD 晶片上的大模型訓練與推理。transformers 庫將深度整合 ROCm SDK,讓 LLaMA 等主流模型開箱即用。這為開發者在輝達之外提供了更高性價比的硬體選擇。
據彭博社報道,微軟正與 AMD 合作提升其 GPU 處理 AI 負載的能力,並提供工程資源與支援。此舉旨在削弱 Nvidia 在 AI 硬體市場的壟斷地位,以降低執行大模型的高昂伺服器成本。不過微軟斷然否認了 AMD 參與其自研 Athena 晶片的傳聞。
據爆料者 CapFrameX 透露,Nvidia 計劃引入 AI 最佳化 GeForce 顯示卡驅動,針對指令、吞吐量和硬體利用率進行調優。爆料稱平均效能預計提升約 10%,部分遊戲最高可達 30%,最早或於今年第一季度推出。
AMD 釋出專為筆記本設計的銳龍 7040 系列處理器。該系列採用 Zen 4 架構,並首次在 x86 晶片中集成了名為 Ryzen AI 的獨立硬體 AI 引擎。AMD 稱其效能和能效均超越蘋果 M2,搭載該晶片的首批筆記本預計 3 月出貨。