跳到正文
IFAI

AIGC

AMD 开源 Nitro Diffusion:单步生图模型落地,跑在自家显卡上

首次发布 传播指数 44

Dec 09, 2024,AMD 发布并开源单步扩散模型 Nitro Diffusion。新模型基于 Stable Diffusion 2.1 和 PixArt-Sigma 打造,只需一步推理就能生成媲美多步扩散的图像,可部署在数据中心和端侧 PC,相关代码与权重已上线 Hugging Face。

AMD Nitro Diffusion 是一套把文生图压缩到只要一步推理的开源扩散模型。它能让你在本地显卡或数据中心里,省去几十步去噪迭代,直接瞬时生成高质量图片。

这套模型覆盖了数据中心和端侧设备,既能在服务器上高吞吐出图,也专门面向配备 AI 能力的 PC 和笔记本等边缘硬件设计。

它是怎么做到的

传统的扩散模型通常需要跑 20 到 50 步去噪计算,而 Nitro Diffusion 把它压缩成了单步完成,同时保持媲美多步扩散模型的画面质量。

AMD 这次拿出了两个主流底模来做改版,分别代表了两种经典生成架构。

一个是基于 Stable Diffusion 2.1 改造的 AMD Stable Diffusion 2.1 Nitro,底层沿用 UNet 主干网络,搭配 CLIP 模型作为文本编码器。

另一个是基于 PixArt-Sigma 改造的 AMD PixArt Sigma Nitro,采用 Diffusion Transformer 也就是 DiT 架构,配合尺寸更大的 T5 文本编码器,用来处理更复杂的提示词和细节。

在实现与训练细节上,AMD 借助了 PyTorch 和 Hugging Face 的 Accelerate 库,并通过预先计算好的潜变量表示来大幅拉高训练吞吐。整个训练过程全部跑在 AMD 自家的 Instinct MI250 加速卡上完成。

去哪里下载试用

AMD 这次把代码和权重全部放了出来,没有任何闭门测试。

开发者现在可以直接去 Hugging Face 下载 AMD Stable Diffusion 2.1 Nitro 和 AMD PixArt Sigma Nitro 的完整模型文件,也可以去 GitHub 仓库拉取推理代码和运行指引。

如果你手里没有合适的 AMD 硬件,官方还建议通过 AMD Developer Cloud 远程调用指定的 AMD GPU 资源进行测试与开发。

为什么重要

对于正在搭建图像生成工作流、或者想在消费级 PC 上落地实时生图的开发者来说,单步模型是目前降低延迟和算力成本最直接的解法,值得立刻拉下来跑个基准测试。

更关键的是,这表明 AMD 正在用真金白银的开源模型来证明自家 Instinct MI250 和 ROCm 软件栈的可用性。长期以来生成式 AI 的代码库几乎被英伟达生态垄断,AMD 拿出跑通训推全流程的开箱即用模型,是在实打实给开发者提供英伟达之外的第二个选择。

来源 (2)

  1. [1]
    community.amd.com(在新标签页打开)原文community.amd.com
  2. [2]

每日 AI 内容精选