跳到正文
IFAI

AIGC

Stability AI 釋出 SDXL Turbo:單步出圖,實現即時文生圖

首次發布 傳播指數 44

Stability AI 釋出文生圖模型 SDXL Turbo。它採用對抗擴散蒸餾技術,將生成步數從 50 步壓縮至單步,在 A100 上生成 512x512 影像僅需 207 毫秒,實現了即時出圖。不過目前僅開放非商業研究授權。

Stability AI 釋出 SDXL Turbo:單步出圖,實現即時文生圖
圖:stability.ai

想像一下,你每在鍵盤上敲下一個詞,螢幕上的畫面就跟著瞬間重構一次,完全沒有以前按完回車等讀條的卡頓感。

Stability AI 宣佈推出即時文生圖模型 SDXL Turbo。它最大的看點,是把傳統擴散模型動輒需要三五十步的降噪過程,直接砍到了一步。

這意味著生圖速度從等待幾秒縮短到了幾百毫秒,真正的「即時生成」終於不再只是概念演示。

一步成圖是怎麼做到的

傳統的擴散模型之所以慢,是因為它要像剝洋蔥一樣,從純噪聲裡一步一步把影像細節摳出來,通常要反覆計算幾十輪。

SDXL Turbo 引入了一種叫做對抗擴散蒸餾的技術,英文縮寫是 ADD。簡單來說,它把對抗訓練和分數蒸餾揉在了一起。

這一步走得相當巧妙。它借來了對抗生成網路單步直接輸出影像的爆發力,同時又保留了大底模擴散模型對畫面的掌控力和豐富細節,避開了以往加速方法容易發虛、畫面糊成一片的毛病。

反映在硬體上,數字非常誇張。在單張輝達 A100 上,SDXL Turbo 生成一張 512 乘 512 解析度的圖片,全流程只需要 207 毫秒。這裡面還算上了提示詞編碼和影像解碼的時間,如果只算核心的單步 UNet 前向推理,其實只要 67 毫秒。

在雙盲質量評測裡,評測者不知道哪張圖來自哪個模型。結果顯示,單步的 SDXL Turbo 評分超過了四步的 LCM-XL,而只要給它四步時間,它的出圖質量就打敗了跑滿 50 步的經典版 SDXL 原版模型。

怎麼玩到以及誰能用

如果你只是想體驗一下鍵盤敲字即時變圖的感覺,Stability AI 已經在自己的 Clipdrop 網頁工具裡上線了測試版 Demo,大部分主流瀏覽器都能免費試玩。

如果你是開發者,SDXL Turbo 的模型權重和執行程式碼已經上傳到了 Hugging Face。

不過要注意,這次開放的權重遵循的是非商業研究許可證,只允許個人學習和非商用研究。想要把它整合到自己的商業軟體或者商用 API 裡的團隊,暫時只能走官方商務渠道去談授權。

為什麼重要

我們認為,SDXL Turbo 的出現,把 AI 作圖從「非同步交付任務」徹底變成了「即時人機互動」。

以前做 AI 設計,使用者輸入提示詞後必須喝口水等結果,如果不滿意再改詞重來,整個反饋迴路非常長。現在降到 200 毫秒以內,意味著它可以被直接塞進畫板畫筆工具、遊戲即時渲染管線,甚至是影片直播濾鏡裡,互動形態完全變了。

對行業來說,它給同類加速技術立了一個極高的標杆。此前社群裡火熱的 LCM 等方案雖然也把步數壓縮到了幾步,但往往伴隨著明顯的畫質妥協和噪點。SDXL Turbo 證明了只要蒸餾方法找對,單步成圖同樣能維持極高水準,這會倒逼所有擴散模型廠商加速自身的蒸餾最佳化。

但它的隱患也很明顯。一方面是當前的開源許可卡死了商業化路徑,很多獨立開發者沒法直接拿它來做商業變現,熱情可能會打折;另一方面,512 乘 512 的輸出尺寸在今天對專業插畫師來說仍然偏小,想要高畫質成品依然需要額外的放大流程。即便如此,在即時互動這一步上,它確實把行業往前拽了一大截。

來源 (1)

  1. [1]
    stability.ai(在新分頁開啟)原文stability.ai

每日 AI 內容精選