跳到正文
IFAI

開源專案

開源影像模型 L2P 釋出:砍掉 VAE 與潛空間,直接生成畫素級畫質

首次發布 傳播指數 48

開源影像生成模型 L2P 釋出。該模型徹底移除了傳統擴散模型中的 VAE 和潛空間,直接在畫素空間生成影像,最高可支援 4K 解析度。最值得關注的是,它避免了潛空間轉換造成的畫質損失;目前已開原始碼與 20GB 大小的 1K 解析度模型權重。

開源影像模型 L2P 釋出:砍掉 VAE 與潛空間,直接生成畫素級畫質
圖:arxiv.org

如果你這幾年經常用 AI 畫圖,大概早就對那些變形的文字和糊成一團的微小細節習以為常了。業內其實都心知肚明,很多時候罪魁禍首不是模型本身理解不到位,而是中間那個負責把壓縮特徵還原成圖片的 VAE 編碼器。

研究團隊開源了全新的影像生成模型 L2P。它做了一件非常乾脆的事:徹底砍掉潛空間與 VAE,直接在畫素空間裡生成畫面。

用 8 張顯示卡,給預訓練模型換個畫素核心

傳統的潛在擴散模型為了省算力,習慣先在一個壓縮維度也就是潛空間裡演算,最後再靠 VAE 轉換回肉眼能看到的畫素。這套方案效率雖高,但在壓縮和解壓的過程中,必然會丟失大量細膩的紋理與準確性。

從頭訓練一個直接在畫素空間運算的大模型又貴得嚇人。L2P 最聰明的地方在於它沒有硬剛算力,而是提出了一套 Latent-to-Pixel 遷移機制。

他們直接借用了現成先進模型(例如 Z-Image)已有的知識庫,把中間層完全凍結,只單獨訓練淺層來學習畫素轉換。更絕的是,訓練全程只用模型自己生成的合成圖片,不用搜集任何真實資料,僅僅靠 8 張 GPU 就完成了從潛空間到畫素空間的遷移。

原生 4K 輸出,但手頭裝置得夠硬

因為甩掉了 VAE 這個視訊記憶體包袱,L2P 徹底解開了原生高解析度的束縛。模型不僅原生支援 4K 輸出,甚至可以外推到 8K。

在生成效果上,它能穩穩駕馭各種藝術風格與寫實場景,尤其在排版文字和複雜微觀元素上,畫質超過了 Z-Image Turbo 和 Qwen 等開源潛空間模型。在評測基準上,它在 DPG-Bench 上咬平了源模型,並在 GenEval 上拿到了 93% 的效能水平。

目前團隊已經把推理程式碼和訓練微調指令碼放上了開源社群。不過要注意,官方這次放出的權重是 1K 解析度版本,檔案體積大概有 20GB,更高畫質的版本還在路上。想在本地把它跑起來,你至少得準備一張中高階顯示卡。

為什麼重要

我們認為 L2P 這次探索最大的價值,在於打破了畫素級生成模型必須堆砌幾千張卡重新訓練的行業迷信。它證明了把現有的成熟模型當作跳板,用極低算力就能把潛空間生成的先驗知識無損搬運到畫素層。

對創作者來說,它預示著未來我們可能很快就能告別 VAE 導致的畫質糊臉和字型畸變,直接拿到真正細膩的商業級高畫質大圖。不過就目前而言,1K 模型高達 20GB 的體積對普通個人使用者並不算友好,本地部署依然有明顯門檻。

長遠來看,這套低成本遷移框架很可能會引發更多開源專案跟進。如果大家都能用幾張卡給自家的擴散模型扒掉 VAE,生成模型的下一輪畫質比拼,大機率會迅速從潛空間全面轉向真實的畫素戰場。

來源 (1)

  1. [1]

每日 AI 內容精選