跳到正文
IFAI

AI科研

非对称流模型 AsymFlow 发布:绕过 VAE 直接在像素空间生图

首次发布 传播指数 36

研究团队提出非对称流模型 AsymFlow,完全绕过潜在空间和 VAE,直接在像素空间生成图像。它将噪声预测限制在低秩子空间,生成速度提升 40% 且在 ImageNet 拿下 1.57 FID。这意味着 AI 生图能摆脱塑料感,获得更锐利的真实纹理。

非对称流模型 AsymFlow 发布:绕过 VAE 直接在像素空间生图
图:hanshengchen.com

如果你经常用 AI 生成图片,大概率受够了一种挥之不去的「AI 塑料味」:皮肤被抹得异常平滑,复杂布料或毛发的边缘总带着模糊感。

这种塑料感的根源,其实来自当下生图模型通用的妥协方案。为了省算力,模型都在高度压缩的潜在空间里作画,最后再塞给 VAE 解码器,硬生生还原成我们肉眼看到的像素。

研究团队提出了一种名为非对称流模型(Asymmetric Flow Models,简称 AsymFlow)的新架构。它做的事情很干脆:完全绕过潜在空间,彻底扔掉 VAE,直接在像素空间里一步到位生成图像。

把高维噪声关进「低秩笼子」

直接在像素空间生图并不是什么没人想过的新想法,之前行业不用它,纯粹是因为太贵、太慢。

未压缩的像素空间维度极高。传统的流模型在算速度向量时,不仅要学着画图,还得耗费大量模型容量去拟合那些高维无序的随机噪声。这就导致以往的像素级扩散模型速度极慢,计算资源基本被噪声浪费掉了。

AsymFlow 的解法很聪明。它观察到真实图像的数据本身具有低秩结构,于是设计了一种非对称的速度参数化方案。

说白了,它让网络把噪声预测严格限制在一个局部的低秩子空间里,而图像数据本身则保留完整的维度进行预测。完成预测后,再用数学公式把完整的速度还原出来。

这样既保留了对高维细节的控制力,又甩掉了拟合高维噪声的包袱。通过这种架构层面的巧妙调整,模型直接把生成速度提升了 40%,以往在像素空间作画的算力和速度瓶颈被硬生生打破了。

刷榜 ImageNet,顺便给 FLUX.2 换了个底座

在标准的 ImageNet 256×256 基准测试上,AsymFlow 拿下了 1.57 的 FID 成绩,大幅超越了此前的 PixelDiT 和 JiT 等一众像素级生成模型。

更值得关注的是,这项技术不仅能从零训练,还能直接给现存的模型「换底座」。以往如果想做像素级模型,通常意味着要从头训练,成本天文数字。

研究团队通过把像素的低秩子空间与原本的潜在空间对齐,成功打通了从预训练潜在模型微调到像素模型的路径。这相当于让新模型直接继承旧模型的高层语义和构图能力,微调时只需要专心修复底层的像素级纹理。

他们用这种方法对 9B 参数的 FLUX.2 klein 进行了微调,打造出 AsymFLUX.2 klein。结果显示,它在 HPSv3、DPG-Bench 和 GenEval 等评测上全方位超越了原本的潜在空间底座,生成出来的毛发、光影和材质纹理锐利得多,彻底告别了传统潜在扩散模型的塑料假面感。

为什么重要

我们认为,AsymFlow 的出现很可能成为图像生成底层架构的一次重要转向。

对创作者和开发者来说,最直接的好处是画质的真实感。过去为了修补 VAE 解码带来的模糊和涂抹,大家往往需要挂载放大插件或做复杂的后期修图。现在直接在像素层作画,原本被 VAE 抹掉的微观细节被保留了下来,AI 图像终于有了真正的照片级肌理。

对行业而言,它打碎了「高质量大模型必须依赖 Latent + VAE」的思维定势。过去几年行业为了效率不得不接受 VAE 的精度损失,而 AsymFlow 证明了像素级生成不仅可以跑得够快,甚至不必从头烧钱训练,完全能够踩在现有开源潜在模型的肩膀上迭代升级。

不过,像素级生成毕竟面临着更高的原生数据吞吐。虽然低秩技巧大幅缓解了噪声负担,但在面对超大分辨率生成时,硬件显存的吞吐压力依然需要经受考验。但无论如何,能把 VAE 从生成链路里一脚踢开,AI 图像向真正以假乱真迈出了极其扎实的一步。

来源 (2)

  1. [1]
    hanshengchen.com(在新标签页打开)原文hanshengchen.com
  2. [2]

每日 AI 内容精选