跳到正文
IFAI

AIGC

Stability AI 推出 Stable Cascade:三階段架構讓訓練成本降至十六分之一

首次發布 傳播指數 42

Stability AI 推出文生圖模型 Stable Cascade 的研究預覽版。該模型基於 Würstchen 架構,採用三階段分層壓縮,將微調訓練成本降至同等規模 Stable Diffusion 的十六分之一。相關推理與訓練程式碼已在 GitHub 開源,但當前僅限非商業研究使用。

Stability AI 推出 Stable Cascade:三階段架構讓訓練成本降至十六分之一
圖:stability.ai

Stable Cascade 是 Stability AI 推出的文生圖模型,最大的特點是把文生圖和影像高畫質還原拆成了三個階段,讓個人開發者在消費級硬體上也能低成本微調大模型。

官方釋出了它的研究預覽版,並在 GitHub 上放出了推理指令碼、微調程式碼以及 ControlNet 和 LoRA 訓練指令碼。目前模型也可以通過 diffusers 庫直接呼叫。

它是怎麼做到的

傳統的 Stable Diffusion 模型通常用一個整體的潛空間來生成畫面,而 Stable Cascade 基於 Würstchen 架構,分成了 Stage A、B、C 三個獨立的階段。

最核心的是 Stage C,它負責理解你的提示詞,並把它們壓縮成極小的 24x24 潛變數。你可以把它看成畫面的整體構圖與草稿。隨後的 Stage B 和 Stage A 則扮演超強解碼器的角色,負責把這層高度壓縮的潛變數還原成高解析度畫素。

這種解耦帶來的好處非常實在。因為構圖邏輯全在 Stage C,以後的 LoRA、ControlNet 或全量微調,大家基本只需要針對 Stage C 進行。按照官方論文的資料,這比微調同等規模的 Stable Diffusion 節省大約十六分之一的成本。Stage A 和 B 平時保持原樣即可,一般沒必要折騰它們。

規格、硬體與效果

模型尺寸方面,官方提供了不同搭配。核心的 Stage C 提供了 10 億(1B)和 36 億(3.6B)引數兩個版本,官方更推薦 3.6B 版本以獲得最佳質感;Stage B 則有 7 億(700M)和 15 億(1.5B)兩個版本,1.5B 更擅長重建微小細節。

在硬體門檻上,由於模組化設計,完整推理預估需要約 20GB 視訊記憶體,如果選用較小引數的組合,視訊記憶體要求還能進一步降低。

除了常規的文字生成圖片,它還支援基於 CLIP 嵌入的影像變體生成,以及給圖片加噪重繪的圖生圖功能。隨模型一起公開的還包括線稿控制(Canny Edge)、區域性重繪(Inpainting/Outpainting)以及兩倍超解析度等 ControlNet 工具。

在速度和質量評測上,官方的人工評測顯示其提示詞對齊度和審美表現優於對比模型。即使最大的組合在總引數量上比 SDXL 多出 14 億,但得益於極高壓縮率的潛空間,推理耗時反而更短。

怎麼用與開源協議

目前權重和程式碼均已公開,開發者可以在 GitHub 的 Stability AI 倉庫找到完整程式碼,或在 Hugging Face 的 diffusers 庫中體驗推理。

需要注意的是,這次釋出的模型採用的是非商業研究許可證(Non-Commercial License),僅供個人研究與實驗。商用需要申請官方的商業會員或使用其 API 服務。

為什麼重要

我們認為,Stable Cascade 最值得稱道的地方在於它對視訊記憶體和算力的妥協方式。它沒有硬著頭皮堆大模型,而是用精巧的層級壓縮,把最耗算力的文本引導部分限制在極小的潛空間裡,讓低成本個人微調成了可能。

如果你是喜歡折騰 LoRA 和自定義風格的創作者或獨立開發者,它非常值得一試,訓練成本大幅降低意味著試錯門檻直接被削平。不過,非商業協議是眼下最大的限制,在商用許可放開之前,它更多還是一個供社群把玩和驗證新架構的研究玩具。

來源 (1)

  1. [1]
    stability.ai(在新分頁開啟)原文stability.ai

每日 AI 內容精選