跳到正文
IFAI

AI科研

TARFlow 让归一化流重获新生:借力 Transformer,生成质量追平扩散模型

首次发布 传播指数 44

研究团队提出结合自回归 Transformer 的归一化流架构 TARFlow,让这一长期被扩散模型压制的范式重获新生。它采用单一可逆网络和最大似然目标,在保持完全可逆特性的同时,样本质量追平扩散模型,并能扩展至图像与视频生成。

TARFlow 让归一化流重获新生:借力 Transformer,生成质量追平扩散模型
图:starflow-v.github.io

过去这几年,生成式 AI 的聚光灯几乎全被扩散模型和自回归大模型占满了。

提起归一化流(Normalizing Flows),不少人甚至觉得那是早该进教科书陈列馆的旧技术。这类模型理论上极其优雅,用一个严格可逆的网络把真实数据映射到简单的高斯噪声,逆向推导就能生成数据,训练时只看精确的最大似然目标。

但它最大的硬伤在于画质。从早期的 RealNVP 到 Glow,归一化流的采样质量一直被 GAN 和扩散模型按在地上打。

现在,研究团队带着 TARFlow 杀了回来。他们证明了一件事:归一化流当年落后,问题出在骨干网络架构太弱,而不是流模型本身的理论走不通。

给老派流模型换上 Transformer 引擎

经典归一化流严重依赖手工设计的仿射耦合层,模型做不深,参数规模很难往上堆。

TARFlow 做了一个干脆的替换。它直接借用了自回归 Transformer 架构,用一个深层自回归块作为核心计算引擎,像大语言模型处理 token 一样撑起绝大部分模型容量。

为了处理局部细节并保持逆向生成的并行能力,团队还在深层块之外搭配了几个交替扫描方向的轻量浅层块。

整个网络依然是严格可逆的,编码和生成共享同一套权重,输入在连续空间流转,既不需要像 VQ 类模型那样做离散化代码本,也不需要扩散模型冗长的噪声调度流程。

解决噪点与控制力的三大配方

光换骨干网络还不够,研究团队还补齐了以往流模型的另外两块短板。

过去用纯净数据做精确最大似然训练,模型极易对高频细节过拟合,生成的图像总是带着细碎的噪声。TARFlow 在训练阶段引入高斯噪声增强,并在采样阶段配合一个小型的后置去噪器,一举解决了画面脏乱的问题。

另一个关键杀招是 guidance 机制。以前的流模型只能无条件从先验分布抽样,没有调节生成质量与多样性的控制旋钮。

团队首次在流模型的深层网络中引入了类似扩散模型的引导配方,用部分多样性换取极高的保真度。靠着这套组合拳,TARFlow 在高分辨率图像与视频生成上,直接把样本质量拉到了比肩扩散模型的水平。

为什么重要

我们认为,TARFlow 最大的价值不是单纯刷高了某个榜单的分数,而是给整个生成式 AI 行业提了个醒:别在一条技术路线上过早锁死。

现在行业为了跑通视频和图像生成,几乎把所有算力和工程资源都押在扩散模型上。但扩散模型推理时需要反复多步去噪,生成延迟和计算开销一直是个大包袱。

TARFlow 证明了,只要给老流模型配上现代 Transformer 的表达能力,单一可逆网络完全可以实现高质量生成。而且它的数学底子极干净,天生自带双向映射和似然计算,不需要复杂的变分下界,也省去了离散量化的精度损耗。

不过对于普通开发者和创作者来说,这项成果目前还在前沿论文与架构验证阶段,离落地成即插即用的商用工具还有距离。

但它给下一代视频世界模型和连续多模态架构打开了一扇窗。如果后续能够在更大规模的数据集上完成扩展性验证,生成式架构的格局很可能会被重新洗牌。

来源 (2)

  1. [1]
    starflow-v.github.io(在新标签页打开)原文starflow-v.github.io
  2. [2]

每日 AI 内容精选