跳到正文
IFAI

AIGC

文生图模型 Würstchen 开源:42 倍空间压缩,训练成本直降 16 倍

首次发布 传播指数 42

Hugging Face 宣布文生图模型 Würstchen 正式集成至 Diffusers 库。它用创新的两阶段架构实现了 42 倍图像空间压缩,生成速度远快于 SDXL 且占用极少显存,训练成本相比 SD 1.4 直降 16 倍。这意味着没有顶级显卡的开发者也能低成本玩转高清生图。

文生图模型 Würstchen 开源:42 倍空间压缩,训练成本直降 16 倍
图:huggingface.co

Würstchen 是一个面向极低硬件门槛的开源文生图模型。它最大的卖点,就是生成速度比 SDXL 快得多,而且显存占用极低,没有高端计算卡的开发者也能顺畅跑高清图。

42 倍压缩到底是怎么做到的

传统的潜在扩散模型(比如 Stable Diffusion)通常只做 4 到 8 倍的空间压缩。一旦压到 16 倍以上,现有方法往往无法忠实还原画面细节,重建出来的图像容易严重失真。

Würstchen 走了一条激进的路线,直接把空间压缩率推到了 42 倍。这意味着即使处理 1024x1024 甚至 1536x1536 的超大分辨率,核心生成阶段其实也是在一个极小的特征空间里跑。

它把整个流程拆成了两大部分。首先是用 Stage A 的 VQGAN 搭配 Stage B 的扩散自编码器组成 Decoder,专门负责把高度压缩的潜在特征还原回真实像素。

真正听懂文字指令并生成内容的模型叫 Stage C,也就是 Prior。因为 Stage C 只需要在 42 倍压缩后的极小空间里做扩散,训练和推理所需的计算量都大幅削减。

显卡不富裕也能玩转

数据压缩带来的最直观好处就是成本暴跌。Würstchen v1 生成 512x512 分辨率只用了 9,000 个 GPU 小时;相比之下,SD 1.4 当年花了 150,000 个 GPU 小时,训练成本直接砍掉了 16 倍。

哪怕是支持最高 1536 分辨率的 Würstchen v2,训练也只花了 24,602 个 GPU 小时,依然比当年 512 尺寸的 SD 1.4 便宜 6 倍。团队还发现 Prior 对新分辨率适应极快,甚至能自然输出 1024x2048 的画面。

对使用者来说,最实用的莫过于大幅降低了显存门槛。这个模型已经完整集成进 Hugging Face 的 Diffusers 库,开发者用熟悉的代码就能直接调用。

它原生支持 PyTorch 2.0 的 SDPA 加速,支持苹果 Mac 的 MPS 芯片,还能通过 CPU 卸载把闲置组件移出显存。如果加上 torch.compile 优化,首次编译花上两分钟后,后续出图速度还会再快上一截。

为什么重要

文生图领域往往在拼算力和参数体量,而 Würstchen 提供了一条截然不同的工程思路:既然大尺寸扩散太费卡,不如先把潜空间压到极致。

对个人开发者和小团队来说,它大幅降低了定制微调生图模型的门槛,用有限的算力就能开展实验。对行业而言,这种极端解耦的架构证明了不用庞大集群也能训出高质量大图。

不过,42 倍的高压缩率对解码器的还原能力是个考验。我们认为,在涉及密集微小文字或复杂纹理的极端场景下,它的重建精度究竟如何,仍值得在实际应用中多加观察。

来源 (1)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co

每日 AI 内容精选