跳到正文
IFAI

开源项目

开源图像模型 L2P 发布:砍掉 VAE 与潜空间,直接生成像素级画质

首次发布 传播指数 48

开源图像生成模型 L2P 发布。该模型彻底移除了传统扩散模型中的 VAE 和潜空间,直接在像素空间生成图像,最高可支持 4K 分辨率。最值得关注的是,它避免了潜空间转换造成的画质损失;目前已开源代码与 20GB 大小的 1K 分辨率模型权重。

开源图像模型 L2P 发布:砍掉 VAE 与潜空间,直接生成像素级画质
图:arxiv.org

如果你这几年经常用 AI 画图,大概早就对那些变形的文字和糊成一团的微小细节习以为常了。业内其实都心知肚明,很多时候罪魁祸首不是模型本身理解不到位,而是中间那个负责把压缩特征还原成图片的 VAE 编码器。

研究团队开源了全新的图像生成模型 L2P。它做了一件非常干脆的事:彻底砍掉潜空间与 VAE,直接在像素空间里生成画面。

用 8 张显卡,给预训练模型换个像素核心

传统的潜在扩散模型为了省算力,习惯先在一个压缩维度也就是潜空间里演算,最后再靠 VAE 转换回肉眼能看到的像素。这套方案效率虽高,但在压缩和解压的过程中,必然会丢失大量细腻的纹理与准确性。

从头训练一个直接在像素空间运算的大模型又贵得吓人。L2P 最聪明的地方在于它没有硬刚算力,而是提出了一套 Latent-to-Pixel 迁移机制。

他们直接借用了现成先进模型(例如 Z-Image)已有的知识库,把中间层完全冻结,只单独训练浅层来学习像素转换。更绝的是,训练全程只用模型自己生成的合成图片,不用搜集任何真实数据,仅仅靠 8 张 GPU 就完成了从潜空间到像素空间的迁移。

原生 4K 输出,但手头设备得够硬

因为甩掉了 VAE 这个显存包袱,L2P 彻底解开了原生高分辨率的束缚。模型不仅原生支持 4K 输出,甚至可以外推到 8K。

在生成效果上,它能稳稳驾驭各种艺术风格与写实场景,尤其在排版文字和复杂微观元素上,画质超过了 Z-Image Turbo 和 Qwen 等开源潜空间模型。在评测基准上,它在 DPG-Bench 上咬平了源模型,并在 GenEval 上拿到了 93% 的性能水平。

目前团队已经把推理代码和训练微调脚本放上了开源社区。不过要注意,官方这次放出的权重是 1K 分辨率版本,文件体积大概有 20GB,更高清的版本还在路上。想在本地把它跑起来,你至少得准备一张中高端显卡。

为什么重要

我们认为 L2P 这次探索最大的价值,在于打破了像素级生成模型必须堆砌几千张卡重新训练的行业迷信。它证明了把现有的成熟模型当作跳板,用极低算力就能把潜空间生成的先验知识无损搬运到像素层。

对创作者来说,它预示着未来我们可能很快就能告别 VAE 导致的画质糊脸和字体畸变,直接拿到真正细腻的商业级高清大图。不过就目前而言,1K 模型高达 20GB 的体积对普通个人用户并不算友好,本地部署依然有明显门槛。

长远来看,这套低成本迁移框架很可能会引发更多开源项目跟进。如果大家都能用几张卡给自家的扩散模型扒掉 VAE,生成模型的下一轮画质比拼,大概率会迅速从潜空间全面转向真实的像素战场。

来源 (1)

  1. [1]

每日 AI 内容精选