拡散モデルに匹敵する「TARFlow」登場、正規化フローをTransformerで刷新

ここ数年、画像や動画の生成モデルといえば拡散モデルの一強状態が続いていました。

かつて注目された正規化フロー（Normalizing Flows）は、単一の可逆ネットワークでデータをガウスノイズに変換し、逆向きに辿るだけで生成を行える極めて美しい理論を持ちながら、画質面でGANや拡散モデルに完敗し、主役の座を追われていました。

そんな不遇のパラダイムを現代的な力技で蘇らせたのが、研究チームが発表した「TARFlow」です。

Transformerで生まれ変わる可逆ネットワーク

従来の正規化フローが失速した原因は、理論の破綻ではなく、浅いアフィン結合層に頼っていたネットワークの表現力不足でした。

TARFlowは、このボトルネックを自回归（自己回帰）Transformerで一気に解消しました。モデル容量の大部分を深いTransformerブロックに担わせ、トークンを扱う大規模言語モデルのように連続空間のデータを処理させます。

局所的なディテールは走査方向を交互に切り替える浅い軽量ブロックが受け持ち、逆方向の並列生成も両立させました。

潜在空間への離散化やコードブックを介さず、連続空間のまま単一のネットワークと重みで双方向変換をこなす設計です。

ノイズ問題と制御不能を克服した3つの処方箋

アーキテクチャの刷新に加えて、長年の弱点だった画質の荒れにも対策が施されました。

完全なデータに対して厳密な最大尤度推定を行うと、高周波成分に過剰適合してノイズ交じりの画像になりがちでした。そこでTARFlowは、学習時にガウスノイズ拡張を施し、サンプリング時に小型の事後デノイザーを組み合わせる工夫を取り入れています。

さらに決定的だったのが「ガイダンス（Guidance）」の導入です。

従来のフローは事前分布から無条件生成するしかなく、品質と多様性のバランスを取る調整つまみがありませんでした。深層Transformerブロック内でガイダンスを適用する新レシピを開発したことで、拡散モデル並みの高い忠実度を達成しました。

なぜ重要か

私たちは、この研究が「生成AI＝拡散モデル一択」という固定観念に風穴を開けた点に大きな意味があると考えています。

拡散モデルは圧倒的なクオリティを誇る一方で、推論に多段階のステップを要するため、速度と計算コストの面で重い課題を抱え続けています。単一の可逆ネットワークで同等水準の画像や動画を生成できるなら、将来的な計算効率は跳ね上がります。

一般ユーザーやアプリ開発者が今すぐ触れる実用ツールという段階ではありませんが、世界モデルや連続空間でのマルチモーダル生成を目指す研究者にとっては見逃せない進展です。

古典的な理論であっても、スケーラブルなTransformerという現代のエンジンを載せ替えれば最前線に復帰できることをTARFlowは証明しました。