跳到正文
IFAI

AI科研

TARFlow 讓歸一化流重獲新生:借力 Transformer,生成質量追平擴散模型

首次發布 傳播指數 44

研究團隊提出結合自迴歸 Transformer 的歸一化流架構 TARFlow,讓這一長期被擴散模型壓制的範式重獲新生。它採用單一可逆網路和最大似然目標,在保持完全可逆特性的同時,樣本質量追平擴散模型,並能擴充套件至影像與影片生成。

TARFlow 讓歸一化流重獲新生:借力 Transformer,生成質量追平擴散模型
圖:starflow-v.github.io

過去這幾年,生成式 AI 的聚光燈幾乎全被擴散模型和自迴歸大模型佔滿了。

提起歸一化流(Normalizing Flows),不少人甚至覺得那是早該進教科書陳列館的舊技術。這類模型理論上極其優雅,用一個嚴格可逆的網路把真實資料對映到簡單的高斯噪聲,逆向推導就能生成資料,訓練時只看精確的最大似然目標。

但它最大的硬傷在於畫質。從早期的 RealNVP 到 Glow,歸一化流的取樣質量一直被 GAN 和擴散模型按在地上打。

現在,研究團隊帶著 TARFlow 殺了回來。他們證明了一件事:歸一化流當年落後,問題出在骨幹網路架構太弱,而不是流模型本身的理論走不通。

給老派流模型換上 Transformer 引擎

經典歸一化流嚴重依賴手工設計的仿射耦合層,模型做不深,引數規模很難往上堆。

TARFlow 做了一個乾脆的替換。它直接借用了自迴歸 Transformer 架構,用一個深層自迴歸塊作為核心計算引擎,像大語言模型處理 token 一樣撐起絕大部分模型容量。

為了處理區域性細節並保持逆向生成的並行能力,團隊還在深層塊之外搭配了幾個交替掃描方向的輕量淺層塊。

整個網路依然是嚴格可逆的,編碼和生成共享同一套權重,輸入在連續空間流轉,既不需要像 VQ 類模型那樣做離散化程式碼本,也不需要擴散模型冗長的噪聲排程流程。

解決噪點與控制力的三大配方

光換骨幹網路還不夠,研究團隊還補齊了以往流模型的另外兩塊短板。

過去用純淨資料做精確最大似然訓練,模型極易對高頻細節過擬合,生成的影像總是帶著細碎的噪聲。TARFlow 在訓練階段引入高斯噪聲增強,並在取樣階段配合一個小型的後置去噪器,一舉解決了畫面髒亂的問題。

另一個關鍵殺招是 guidance 機制。以前的流模型只能無條件從先驗分佈抽樣,沒有調節生成質量與多樣性的控制旋鈕。

團隊首次在流模型的深層網路中引入了類似擴散模型的引導配方,用部分多樣性換取極高的保真度。靠著這套組合拳,TARFlow 在高解析度影像與影片生成上,直接把樣本質量拉到了比肩擴散模型的水平。

為什麼重要

我們認為,TARFlow 最大的價值不是單純刷高了某個榜單的分數,而是給整個生成式 AI 行業提了個醒:別在一條技術路線上過早鎖死。

現在行業為了跑通影片和影像生成,幾乎把所有算力和工程資源都押在擴散模型上。但擴散模型推理時需要反覆多步去噪,生成延遲和計算開銷一直是個大包袱。

TARFlow 證明了,只要給老流模型配上現代 Transformer 的表達能力,單一可逆網路完全可以實現高質量生成。而且它的數學底子極乾淨,天生自帶雙向對映和似然計算,不需要複雜的變分下界,也省去了離散量化的精度損耗。

不過對於普通開發者和創作者來說,這項成果目前還在前沿論文與架構驗證階段,離落地成即插即用的商用工具還有距離。

但它給下一代影片世界模型和連續多模態架構打開了一扇窗。如果後續能夠在更大規模的資料集上完成擴充套件性驗證,生成式架構的格局很可能會被重新洗牌。

來源 (2)

  1. [1]
    starflow-v.github.io(在新分頁開啟)原文starflow-v.github.io
  2. [2]

每日 AI 內容精選