AMD 開源 Nitro Diffusion:單步生圖模型落地,跑在自家顯示卡上
Dec 09, 2024,AMD 釋出並開源單步擴散模型 Nitro Diffusion。新模型基於 Stable Diffusion 2.1 和 PixArt-Sigma 打造,只需一步推理就能生成媲美多步擴散的影像,可部署在資料中心和端側 PC,相關程式碼與權重已上線 Hugging Face。
AMD Nitro Diffusion 是一套把文生圖壓縮到只要一步推理的開源擴散模型。它能讓你在本地顯示卡或資料中心裡,省去幾十步去噪迭代,直接瞬時生成高質量圖片。
這套模型覆蓋了資料中心和端側裝置,既能在伺服器上高吞吐出圖,也專門面向配備 AI 能力的 PC 和筆記本等邊緣硬體設計。
它是怎麼做到的
傳統的擴散模型通常需要跑 20 到 50 步去噪計算,而 Nitro Diffusion 把它壓縮成了單步完成,同時保持媲美多步擴散模型的畫面質量。
AMD 這次拿出了兩個主流底模來做改版,分別代表了兩種經典生成架構。
一個是基於 Stable Diffusion 2.1 改造的 AMD Stable Diffusion 2.1 Nitro,底層沿用 UNet 主幹網路,搭配 CLIP 模型作為文本編碼器。
另一個是基於 PixArt-Sigma 改造的 AMD PixArt Sigma Nitro,採用 Diffusion Transformer 也就是 DiT 架構,配合尺寸更大的 T5 文本編碼器,用來處理更復雜的提示詞和細節。
在實現與訓練細節上,AMD 藉助了 PyTorch 和 Hugging Face 的 Accelerate 庫,並通過預先計算好的潛變量表示來大幅拉高訓練吞吐。整個訓練過程全部跑在 AMD 自家的 Instinct MI250 加速卡上完成。
去哪裡下載試用
AMD 這次把程式碼和權重全部放了出來,沒有任何閉門測試。
開發者現在可以直接去 Hugging Face 下載 AMD Stable Diffusion 2.1 Nitro 和 AMD PixArt Sigma Nitro 的完整模型檔案,也可以去 GitHub 倉庫拉取推理程式碼和執行指引。
如果你手裡沒有合適的 AMD 硬體,官方還建議通過 AMD Developer Cloud 遠端呼叫指定的 AMD GPU 資源進行測試與開發。
為什麼重要
對於正在搭建影像生成工作流、或者想在消費級 PC 上落地即時生圖的開發者來說,單步模型是目前降低延遲和算力成本最直接的解法,值得立刻拉下來跑個基準測試。
更關鍵的是,這表明 AMD 正在用真金白銀的開源模型來證明自家 Instinct MI250 和 ROCm 軟體棧的可用性。長期以來生成式 AI 的程式碼庫幾乎被輝達生態壟斷,AMD 拿出跑通訓推全流程的開箱即用模型,是在實打實給開發者提供輝達之外的第二個選擇。
來源 (2)
- community.amd.com(在新分頁開啟)原文community.amd.com
- amd.com(在新分頁開啟)報導amd.com