SupraLabs 開源 Supra2-IMG:1 億引數文生圖模型,單卡 9 小時訓完
SupraLabs 開源超小型文生圖模型 Supra2-IMG,引數量僅約 1.04 億,體積約 417MB。團隊基於 560 萬張合成影像,在一張單卡 H100 上僅耗時 9 小時完成訓練,主打端側與小型裝置執行。不過受限於極小體量,目前生成解析度為 256×256,畫質相對有限。

Supra2-IMG 是一個只有 1.04 億引數的超小型文生圖模型,整個模型權重檔案大概只有 417MB,可以直接塞進手機、隨身小型裝置或者邊緣計算晶片裡離線跑圖。
現在的文生圖模型動輒幾十億引數,動用大量視訊記憶體,而 SupraLabs 做的這個小傢伙,引數規模縮小了將近幾十倍。它用極低的硬體開銷,證明了小模型也能從零學畫畫。
單張顯示卡 9 小時訓完
Supra2-IMG 是一個極簡的 Diffusion Transformer(DiT)架構,從零開始完全在高質量合成數據上訓練而來。
它的核心文本編碼器選用了凍結引數的 Google Flan-T5-Base,上下文長度是 128 token;影像編解碼部分則直接使用了 Stability AI 經典的 SD-VAE-FT-MSE。
訓練資料來自 LucasFang/FLUX-Reason-6M 資料集,團隊篩選出了 560 萬張高質量影像,依次按畫面構圖、實體、文字、風格和想像力 prompt 進行清洗排序,一共訓練了 10 個 epoch。
最誇張的是訓練成本。整個預訓練只用了 Runpod 上的一臺單卡 Nvidia H100 SXM 80GB 機器,掛載 2.5TB 硬碟,算上前期資料準備的時間,一共只跑了 9 個小時。
在基準測試中,Supra2-IMG 跑出了 27.9 的 FID 分數和 29.4 的 CLIP 得分,對於一個 1 億引數體量的模型來說表現相當紮實。
怎麼跑起來與生成限制
要跑起來非常簡單。你可以直接通過 Hugging Face 的 transformers 庫載入,也可以從專案主頁下載 inference.py 指令碼執行。
官方推薦的取樣配置是 Euler flow 演算法、50 步迭代,以及 3.0 的 CFG 縮放係數。模型載入權重只需要不到一秒鐘的時間。
不過你必須對畫質有合理的心理預期。因為引數實在太少,它生成的原生解析度只有 256×256 畫素,畫面的細節和複雜構圖比較有限,不能指望它去比拼幾十億引數的大模型。
目前權重已經在 Hugging Face 上完全開放,並且提供了 Google Colab 和 Kaggle 的線上 Notebook 供大家免配置嘗試。
為什麼重要
我們認為 Supra2-IMG 最有價值的地方在於極低門檻的探索。對獨立開發者和端側硬體玩家來說,417MB 的模型意味著你甚至不需要雲端 API,就能在低功耗硬體上實現端側即時的影像草圖生成。
它向社群證明了依靠高質量合成數據,極小體量的 DiT 也能具備完整的語義理解和生成能力。如果你想在移動端或者嵌入式裝置上搞離線生圖原型,這個小玩具非常值得下下來跑一跑。
來源 (1)
- huggingface.co(在新分頁開啟)原文huggingface.co