跳到正文
IFAI

AIGC

Stability AI 釋出 SDXL 0.9:引數翻倍,消費級顯示卡也能跑

首次發布 傳播指數 44

Stability AI 推出文生圖模型 SDXL 0.9,畫面細節相比 4 月的測試版大幅升級。新版本採用兩階段生成架構,組合引數達 6.6B,能在 8GB 視訊記憶體的消費級顯示卡上跑出 1024x1024 影像。普通使用者現可通過 Clipdrop 試用,正式開源版 1.0 預計 7 月中旬到來。

Stability AI 釋出 SDXL 0.9:引數翻倍,消費級顯示卡也能跑
圖:stability.ai

用過早期開源生圖模型的人,大多對那些畸形的手指、塑膠感十足的皮膚,還有永遠畫不明白的背景深有體會。雖然 Midjourney 已經在閉源陣營裡把畫質拉得很高,但開源陣營一直憋著一口氣。

Stability AI 終於拿出了新底牌,正式釋出 SDXL 0.9。相比 4 月推出的 SDXL 測試版,這個版本在畫面細節和構圖完整度上有了大跨步的提升,原生支援 1024x1024 解析度生圖,不用再像以前那樣先生成 512 的小圖再費勁去放大。

更關鍵的是,這次並不只是簡單微調,而是把整套生成管線徹底重構了。

藏在 66 億引數裡的「雙人接力」

說白了,這次畫質暴漲的秘密,全在底層模型結構上。

SDXL 0.9 採用了一套組合模型管線,總引數量達到了 66 億。首先由一個 35 億引數的基礎模型負責根據文本構圖、打出大輪廓,接著再把半成品交給精煉模型(Refiner)做二次處理,把毛髮、材質和微小光影這些細節一塊塊補齊。

拿之前的測試版來比,當時的 SDXL 只是個 31 億引數的單模型。這次直接翻倍,成了目前引數量最大的開源生圖模型之一。

不僅如此,它還塞進了業內迄今訓練過的最大 OpenCLIP 模型之一(OpenCLIP ViT-G/14)。這意味著模型對複雜長句子的理解力強了一大截,除了常規文生圖,像以圖生圖、區域性重繪和外繪拓展這些高階功能也都能直接呼叫。

很多人可能以為這麼大的模型只能在機房跑,但 Stability AI 給出了一張相對親民的配置表:Windows 或 Linux 系統,16GB 記憶體,顯示卡只要 Nvidia GeForce RTX 20 系列及以上、配 8GB 視訊記憶體就能跑起來;Linux 使用者如果用 AMD 顯示卡,則需要 16GB 視訊記憶體。

先進實驗室,7 月再全面放開

自打 4 月 13 日開啟測試以來,差不多 7000 名 Discord 社群使用者已經幫它跑了 70 多萬張圖,平均每天生成 2 萬多張。經過兩個月的社群反饋打磨,才有了現在的 0.9 版本。

不過,普通使用者眼下還不能直接把權重檔案下載到本地隨便跑。

目前 SDXL 0.9 走的是非商業的研究性質授權。研究人員需要用學術郵箱登入 Hugging Face 申請 Base 和 Refiner 模型的權重,執行程式碼會公開在 GitHub 上。

想要嚐鮮的普通使用者可以直接去 Stability AI 旗下的 Clipdrop 網頁端體驗。官方計劃在 6 月 26 日把模型接入自家的 DreamStudio 和 API,還會同步支援 NightCafe 等第三方平臺;至於完全開放開源的 SDXL 1.0,則定在 7 月中旬正式登場。

為什麼重要

對於視覺創作者和獨立開發者來說,SDXL 0.9 最大的價值是把高質量生圖的門檻直接打穿了。過去想要 Midjourney 級別的質感,只能花錢訂閱閉源服務,或者在本地用複雜的 LoRA 和放大指令碼反覆抽卡;現在只要有一張主流消費級顯示卡,本地原生跑 1024 高畫質大圖成了可能。

從行業角度看,Stability AI 這一步走得相當狠。它直接把開源生圖的基準線從過去的 512 時代生生拔高到了 1024 時代,這會讓那些靠包裝早期開源模型做簡單套殼工具的初創團隊徹底失去技術壁壘。

我們認為,採用「兩階段接力」的管線設計非常聰明,它既保證了大模型的畫質上限,又沒有徹底脫離 8GB 視訊記憶體這種大眾硬體的承受範圍。但隱患也同樣存在,66 億引數的龐大體量勢必會導致推理速度變慢,後續社群開發者想要給它訓練 LoRA 或 ControlNet,所需要的算力成本也會水漲船高。現在就看 7 月中旬 1.0 正式版開放後,開源社群能不能在短時間內消化好這頭引數怪獸了。

來源 (1)

  1. [1]
    stability.ai(在新分頁開啟)原文stability.ai

話題追蹤Stable Diffusion XL (SDXL) 的釋出與應用

這個話題的歷次新聞,最新的在上面。

  1. Diffusers 支援 SDXL 版 T2I-Adapter:體積比 ControlNet 縮減 94%
  2. Stability AI 聯手 NVIDIA 最佳化 SDXL:H100 出圖只需 1.47 秒
  3. Stability AI 開源 SDXL 1.0:原生 1024 解析度,告別畫手翻車
  4. Leonardo AI 接入 SDXL 0.9 與 Prompt Magic v3:生圖細節升級並贈送算力
  5. Stability AI 推出 Stable Doodle:隨手畫幾筆草圖,幾秒變精細大圖

每日 AI 內容精選