跳到正文
IFAI

AI科研

非對稱流模型 AsymFlow 釋出:繞過 VAE 直接在畫素空間生圖

首次發布 傳播指數 36

研究團隊提出非對稱流模型 AsymFlow,完全繞過潛在空間和 VAE,直接在畫素空間生成影像。它將噪聲預測限制在低秩子空間,生成速度提升 40% 且在 ImageNet 拿下 1.57 FID。這意味著 AI 生圖能擺脫塑膠感,獲得更銳利的真實紋理。

非對稱流模型 AsymFlow 釋出:繞過 VAE 直接在畫素空間生圖
圖:hanshengchen.com

如果你經常用 AI 生成圖片,大機率受夠了一種揮之不去的「AI 塑膠味」:皮膚被抹得異常平滑,複雜布料或毛髮的邊緣總帶著模糊感。

這種塑膠感的根源,其實來自當下生圖模型通用的妥協方案。為了省算力,模型都在高度壓縮的潛在空間裡作畫,最後再塞給 VAE 解碼器,硬生生還原成我們肉眼看到的畫素。

研究團隊提出了一種名為非對稱流模型(Asymmetric Flow Models,簡稱 AsymFlow)的新架構。它做的事情很乾脆:完全繞過潛在空間,徹底扔掉 VAE,直接在畫素空間裡一步到位生成影像。

把高維噪聲關進「低秩籠子」

直接在畫素空間生圖並不是什麼沒人想過的新想法,之前行業不用它,純粹是因為太貴、太慢。

未壓縮的畫素空間維度極高。傳統的流模型在算速度向量時,不僅要學著畫圖,還得耗費大量模型容量去擬合那些高維無序的隨機噪聲。這就導致以往的畫素級擴散模型速度極慢,計算資源基本被噪聲浪費掉了。

AsymFlow 的解法很聰明。它觀察到真實影像的資料本身具有低秩結構,於是設計了一種非對稱的速度引數化方案。

說白了,它讓網路把噪聲預測嚴格限制在一個區域性的低秩子空間裡,而影像資料本身則保留完整的維度進行預測。完成預測後,再用數學公式把完整的速度還原出來。

這樣既保留了對高維細節的控制力,又甩掉了擬合高維噪聲的包袱。通過這種架構層面的巧妙調整,模型直接把生成速度提升了 40%,以往在畫素空間作畫的算力和速度瓶頸被硬生生打破了。

刷榜 ImageNet,順便給 FLUX.2 換了個底座

在標準的 ImageNet 256×256 基準測試上,AsymFlow 拿下了 1.57 的 FID 成績,大幅超越了此前的 PixelDiT 和 JiT 等一眾畫素級生成模型。

更值得關注的是,這項技術不僅能從零訓練,還能直接給現存的模型「換底座」。以往如果想做畫素級模型,通常意味著要從頭訓練,成本天文數字。

研究團隊通過把畫素的低秩子空間與原本的潛在空間對齊,成功打通了從預訓練潛在模型微調到畫素模型的路徑。這相當於讓新模型直接繼承舊模型的高層語義和構圖能力,微調時只需要專心修復底層的畫素級紋理。

他們用這種方法對 9B 引數的 FLUX.2 klein 進行了微調,打造出 AsymFLUX.2 klein。結果顯示,它在 HPSv3、DPG-Bench 和 GenEval 等評測上全方位超越了原本的潛在空間底座,生成出來的毛髮、光影和材質紋理銳利得多,徹底告別了傳統潛在擴散模型的塑膠假面感。

為什麼重要

我們認為,AsymFlow 的出現很可能成為影像生成底層架構的一次重要轉向。

對創作者和開發者來說,最直接的好處是畫質的真實感。過去為了修補 VAE 解碼帶來的模糊和塗抹,大家往往需要掛載放大外掛或做複雜的後期修圖。現在直接在畫素層作畫,原本被 VAE 抹掉的微觀細節被保留了下來,AI 影像終於有了真正的照片級肌理。

對行業而言,它打碎了「高質量大模型必須依賴 Latent + VAE」的思維定勢。過去幾年行業為了效率不得不接受 VAE 的精度損失,而 AsymFlow 證明了畫素級生成不僅可以跑得夠快,甚至不必從頭燒錢訓練,完全能夠踩在現有開源潛在模型的肩膀上迭代升級。

不過,畫素級生成畢竟面臨著更高的原生資料吞吐。雖然低秩技巧大幅緩解了噪聲負擔,但在面對超大解析度生成時,硬體視訊記憶體的吞吐壓力依然需要經受考驗。但無論如何,能把 VAE 從生成鏈路裡一腳踢開,AI 影像向真正以假亂真邁出了極其紮實的一步。

來源 (2)

  1. [1]
    hanshengchen.com(在新分頁開啟)原文hanshengchen.com
  2. [2]

每日 AI 內容精選