跳到正文
IFAI

AIGC

Stability AI 推出 Stable Cascade:三阶段架构让训练成本降至十六分之一

首次发布 传播指数 42

Stability AI 推出文生图模型 Stable Cascade 的研究预览版。该模型基于 Würstchen 架构,采用三阶段分层压缩,将微调训练成本降至同等规模 Stable Diffusion 的十六分之一。相关推理与训练代码已在 GitHub 开源,但当前仅限非商业研究使用。

Stability AI 推出 Stable Cascade:三阶段架构让训练成本降至十六分之一
图:stability.ai

Stable Cascade 是 Stability AI 推出的文生图模型,最大的特点是把文生图和图像高清还原拆成了三个阶段,让个人开发者在消费级硬件上也能低成本微调大模型。

官方发布了它的研究预览版,并在 GitHub 上放出了推理脚本、微调代码以及 ControlNet 和 LoRA 训练脚本。目前模型也可以通过 diffusers 库直接调用。

它是怎么做到的

传统的 Stable Diffusion 模型通常用一个整体的潜空间来生成画面,而 Stable Cascade 基于 Würstchen 架构,分成了 Stage A、B、C 三个独立的阶段。

最核心的是 Stage C,它负责理解你的提示词,并把它们压缩成极小的 24x24 潜变量。你可以把它看成画面的整体构图与草稿。随后的 Stage B 和 Stage A 则扮演超强解码器的角色,负责把这层高度压缩的潜变量还原成高分辨率像素。

这种解耦带来的好处非常实在。因为构图逻辑全在 Stage C,以后的 LoRA、ControlNet 或全量微调,大家基本只需要针对 Stage C 进行。按照官方论文的数据,这比微调同等规模的 Stable Diffusion 节省大约十六分之一的成本。Stage A 和 B 平时保持原样即可,一般没必要折腾它们。

规格、硬件与效果

模型尺寸方面,官方提供了不同搭配。核心的 Stage C 提供了 10 亿(1B)和 36 亿(3.6B)参数两个版本,官方更推荐 3.6B 版本以获得最佳质感;Stage B 则有 7 亿(700M)和 15 亿(1.5B)两个版本,1.5B 更擅长重建微小细节。

在硬件门槛上,由于模块化设计,完整推理预估需要约 20GB 显存,如果选用较小参数的组合,显存要求还能进一步降低。

除了常规的文字生成图片,它还支持基于 CLIP 嵌入的图像变体生成,以及给图片加噪重绘的图生图功能。随模型一起公开的还包括线稿控制(Canny Edge)、局部重绘(Inpainting/Outpainting)以及两倍超分辨率等 ControlNet 工具。

在速度和质量评测上,官方的人工评测显示其提示词对齐度和审美表现优于对比模型。即使最大的组合在总参数量上比 SDXL 多出 14 亿,但得益于极高压缩率的潜空间,推理耗时反而更短。

怎么用与开源协议

目前权重和代码均已公开,开发者可以在 GitHub 的 Stability AI 仓库找到完整代码,或在 Hugging Face 的 diffusers 库中体验推理。

需要注意的是,这次发布的模型采用的是非商业研究许可证(Non-Commercial License),仅供个人研究与实验。商用需要申请官方的商业会员或使用其 API 服务。

为什么重要

我们认为,Stable Cascade 最值得称道的地方在于它对显存和算力的妥协方式。它没有硬着头皮堆大模型,而是用精巧的层级压缩,把最耗算力的文本引导部分限制在极小的潜空间里,让低成本个人微调成了可能。

如果你是喜欢折腾 LoRA 和自定义风格的创作者或独立开发者,它非常值得一试,训练成本大幅降低意味着试错门槛直接被削平。不过,非商业协议是眼下最大的限制,在商用许可放开之前,它更多还是一个供社区把玩和验证新架构的研究玩具。

来源 (1)

  1. [1]
    stability.ai(在新标签页打开)原文stability.ai

每日 AI 内容精选