AMD 宣佈 EPYC 9006:最高 256 核,智慧體 AI 效能高出 Intel 174%
AMD 宣佈推出第 6 代 EPYC 9006 伺服器 CPU。新晶片基於台積電 2nm 製程與 Zen 6 架構,單插槽提供最高 256 核與 512 執行緒。AMD 稱在任務編排、檢索與工具呼叫等智慧體 AI 工作負載中,其效能比 Intel Xeon 6980P 高出 174%。
現在只要聊起 AI,大家的目光全被動輒幾萬美元的 GPU 搶走了。但要是真把一個多步驟協作的 AI 智慧體放進生產環境,很多工程師會突然發現,伺服器裡的 CPU 居然先撐不住了。
AMD 公佈了代號為 Venice 的第 6 代 EPYC 9006 系列伺服器處理器。這一代晶片直接拉滿了堆料規格,用上臺積電 2nm 工藝與 Zen 6 架構,單插槽最高塞進了 256 顆核心與 512 個執行緒。
除了核心數量翻倍,底層的吞吐規格也全面升級。EPYC 9006 擁有 16 通道 DDR5 記憶體架構,支援傳輸速率高達 12,800 MT/s 的 JEDEC 標準 MRDIMM,並且支援最新的 PCIe Gen 6 傳輸匯流排。
智慧體幹髒活,CPU 成了真正的排程中樞
AMD 這次沒有把重點放在傳統的大模型矩陣乘法上,而是精準切中了正在爆發的智慧體工作流。
過去單次提問的推理場景裡,CPU 往往只負責把資料倒手交給加速卡。但智慧體完全是另一種玩法,它要處理使用者閘道器解析、多輪上下文拼接、路由決策、向量檢索、資料庫查詢,還要頻繁拉起臨時沙盒執行工具和程式碼,最後再驗證結果。
在這些端到端環節裡,除了純粹的模型思考交給 GPU 之外,剩下的重活累活全壓在 CPU 和記憶體總線上。
針對這些以 CPU 為核心的智慧體編排與工具呼叫負載,AMD 給出了一組很驚人的數字。他們聲稱 EPYC 9006 在智慧體端到端工作流中的幾何平均效能,比 Intel Xeon 6980P 高出了 174%。
為什麼重要
對企業和開發者來說,搭建複雜智慧體應用的最大暗坑,往往不是模型生成不夠快,而是併發上下文檢索和工具呼叫時的系統擁堵。EPYC 9006 帶來的 256 核併發能力和翻倍的記憶體頻寬,意味著一臺雙路伺服器就能支撐起以前整個叢集才能吃下的排程負載,非常值得正在自建 Agent 架構的團隊關注。
從行業競爭來看,AMD 這一步走得相當犀利。在 GPU 推理端與輝達正面對決成本極高,但 AMD 敏銳抓住了智慧體系統向複合流程演進的視窗期,把 CPU 從加速卡的陪襯重新定義成了流水線引擎,直接在資料中心地盤上對 Intel 形成降維打擊。
我們認為,AMD 押注大記憶體頻寬和超多核心的思路完全切中了智慧體的執行瓶頸。不過隱患也顯而易見,2nm 先進製程配合 16 通道 MRDIMM 的整機部署成本絕不會便宜,企業在採購時必須仔細核算,自己的智慧體呼叫規模到底能不能餵飽這隻算力怪獸。
來源 (1)
- amd.com(在新分頁開啟)原文amd.com