擴散模型推理擴充套件新研究:不止增加去噪步數,算力堆對地方畫質大漲
arXiv 上發表的一項研究探索了擴散模型的推理算力擴充套件。以往單純增加去噪步數在幾十步後收益見頂,該研究轉為構建驗證器與搜尋演算法尋找更優質的取樣噪聲,讓生成時投入的算力能持續轉化為畫質提升。
用過 AI 畫圖的人大概都有過這種體驗:把生圖步數從 20 步拉到 50 步,畫面細節明顯豐富了不少;但如果一狠心拉到 100 步甚至 200 步,畫面基本不再變好,有時反而變怪,白白浪費顯示卡算力。
大語言模型那邊靠推理時思考(Inference-Time Scaling)把做題能力拉上了一個臺階,而畫圖模型卻一直被困在這個去噪步數的死衚衕裡。1 月 16 日發表在 arXiv 上的一篇新論文,試圖給擴散模型換一條燒算力的路子。
把畫圖變成一場「選噪聲」的搜尋
研究團隊指出,擴散模型天生就能靠調整去噪步數來改變推理算力,但這種提升在幾十步之後就會迅速放緩。換句話說,光在一個既定的起點上反覆精細打磨,算力換來的收益很快就會觸頂。
既然步數堆不動了,研究團隊把目光轉向了更底層的起點:初始噪聲。他們把擴散模型的取樣過程重新定義成一個搜尋問題,核心目標是找到更適合生成目標畫面的候選噪聲。
他們把這個設計框架拆成了兩個維度。第一個軸是驗證器,用來評估生成影像的質量並提供反饋訊號;第二個軸是搜尋演算法,負責根據反饋不斷尋找更優質的噪聲候選。
實驗結果表明,在類別條件和文本條件影像生成基準測試中,通過這種框架增加推理階段的計算量,擴散模型生成的樣本質量獲得了顯著提升。而且因為影像本身複雜度高,框架裡的驗證器和搜尋演算法可以像搭積木一樣自由組合,適配不同的應用場景。
為什麼重要
我們認為,這項研究最聰明的地方在於把大語言模型已經驗證過的 Test-Time Compute 範式移植到了影像領域,但沒有生搬硬套。
對使用者和創作者來說,這指明瞭一條全新的生圖工具升級路線。如果這項技術落地成產品,未來使用者可能不再需要為了抽出一張好圖狂點幾十次生成、自己肉眼去挑,而是直接交給模型在後臺多跑幾秒,讓驗證器和演算法先幫你篩出最佳初始路徑。
對整個行業而言,這可能會改變影像生成賽道的競爭焦點。過去廠商拼命卷底座模型的引數量和預訓練資料,導致訓練成本居高不下;如果推理階段增加算力就能直接拔高成圖上限,小型模型配合強大的推理搜尋策略,完全有機會在特定畫質上追平甚至超越大模型。
不過隱患也同樣擺在眼前。搜尋演算法和驗證器本身都需要消耗不菲的算力與視訊記憶體,在實際部署時,每張圖的生成延遲和伺服器成本肯定會顯著增加。如何在搜尋帶來的畫質增益與使用者的等待耐心之間找到平衡,會是工程化落地的真正考題。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org