跳到正文
IFAI

AIGC

AMD 開源 Nitro Diffusion:單步生圖模型落地,跑在自家顯示卡上

首次發布 傳播指數 44

Dec 09, 2024,AMD 釋出並開源單步擴散模型 Nitro Diffusion。新模型基於 Stable Diffusion 2.1 和 PixArt-Sigma 打造,只需一步推理就能生成媲美多步擴散的影像,可部署在資料中心和端側 PC,相關程式碼與權重已上線 Hugging Face。

AMD Nitro Diffusion 是一套把文生圖壓縮到只要一步推理的開源擴散模型。它能讓你在本地顯示卡或資料中心裡,省去幾十步去噪迭代,直接瞬時生成高質量圖片。

這套模型覆蓋了資料中心和端側裝置,既能在伺服器上高吞吐出圖,也專門面向配備 AI 能力的 PC 和筆記本等邊緣硬體設計。

它是怎麼做到的

傳統的擴散模型通常需要跑 20 到 50 步去噪計算,而 Nitro Diffusion 把它壓縮成了單步完成,同時保持媲美多步擴散模型的畫面質量。

AMD 這次拿出了兩個主流底模來做改版,分別代表了兩種經典生成架構。

一個是基於 Stable Diffusion 2.1 改造的 AMD Stable Diffusion 2.1 Nitro,底層沿用 UNet 主幹網路,搭配 CLIP 模型作為文本編碼器。

另一個是基於 PixArt-Sigma 改造的 AMD PixArt Sigma Nitro,採用 Diffusion Transformer 也就是 DiT 架構,配合尺寸更大的 T5 文本編碼器,用來處理更復雜的提示詞和細節。

在實現與訓練細節上,AMD 藉助了 PyTorch 和 Hugging Face 的 Accelerate 庫,並通過預先計算好的潛變量表示來大幅拉高訓練吞吐。整個訓練過程全部跑在 AMD 自家的 Instinct MI250 加速卡上完成。

去哪裡下載試用

AMD 這次把程式碼和權重全部放了出來,沒有任何閉門測試。

開發者現在可以直接去 Hugging Face 下載 AMD Stable Diffusion 2.1 Nitro 和 AMD PixArt Sigma Nitro 的完整模型檔案,也可以去 GitHub 倉庫拉取推理程式碼和執行指引。

如果你手裡沒有合適的 AMD 硬體,官方還建議通過 AMD Developer Cloud 遠端呼叫指定的 AMD GPU 資源進行測試與開發。

為什麼重要

對於正在搭建影像生成工作流、或者想在消費級 PC 上落地即時生圖的開發者來說,單步模型是目前降低延遲和算力成本最直接的解法,值得立刻拉下來跑個基準測試。

更關鍵的是,這表明 AMD 正在用真金白銀的開源模型來證明自家 Instinct MI250 和 ROCm 軟體棧的可用性。長期以來生成式 AI 的程式碼庫幾乎被輝達生態壟斷,AMD 拿出跑通訓推全流程的開箱即用模型,是在實打實給開發者提供輝達之外的第二個選擇。

來源 (2)

  1. [1]
    community.amd.com(在新分頁開啟)原文community.amd.com
  2. [2]

每日 AI 內容精選