跳到正文
IFAI

AI科研

Apple 釋出 STARFlow:繞過擴散模型,高畫質影像生成比肩 Midjourney

首次發布 傳播指數 31

上週,Apple 聯合高校研究人員釋出論文,推出影像生成系統 STARFlow。該技術將規範化流與自迴歸 Transformer 結合,首次實現該架構在大尺度高解析度上的有效執行,畫質直追主流擴散模型,為端側精確控圖與計算開闢了新路徑。

Apple 釋出 STARFlow:繞過擴散模型,高畫質影像生成比肩 Midjourney
圖:krea.ai

現在只要聊起 AI 畫圖,大家腦子裡跳出來的不是 Midjourney 就是 DALL-E,底層幾乎全是擴散模型(Diffusion Models)的天下。

但在別人都在擴散路線上一路狂奔的時候,蘋果的研究團隊轉頭走了一條很少有人走通的路。

蘋果機器學習研究團隊聯合加州大學伯克利分校、喬治亞理工學院等學術機構,在上週發表的一篇論文中公開了名為 STARFlow 的影像生成系統。團隊表示,這是業內首次成功把歸一化流(Normalizing Flows)擴充套件到如此規模和高解析度的影像生成任務上,生成質量直逼當下最頂尖的擴散模型。

避開擴散模型,給數學難題換個解法

所謂歸一化流,本質上是一種通過可逆數學變換,把簡單機率分佈變成複雜影像分佈的生成模型。過去它一直因為計算複雜度太高、難以處理高解析度圖片,長期被擴散模型和對抗生成網路(GAN)壓著打。

為了打破這個瓶頸,蘋果團隊在架構上玩了幾個巧勁。

首先是架構上的深淺搭配。研究人員採用了一個深層 Transformer 塊來承擔大部分模型表徵能力,同時搭配幾個計算開銷極小的淺層 Transformer 塊來輔助,兼顧了表達能力和計算效率。

其次,STARFlow 沒有直接死磕原始畫素,而是在預訓練自編碼器的潛在空間(Latent Space)裡執行。用壓縮後的特徵資料替代龐大的畫素陣列,大幅減輕了運算負擔。

更關鍵的區別在於數學機制。主流的擴散模型需要經過多步迭代去噪才能拼出一張圖,而 STARFlow 保留了歸一化流特有的數學屬性,支援在連續空間中進行完全不需要離散化的精確最大似然訓練。

從實測結果看,無論是按類別生成還是按文字提示詞生成,STARFlow 的出圖質量都已經能和主流擴散模型正面過招。

為什麼重要

對普通使用者來說,這項成果目前還停留在論文層面,蘋果並沒有把它做成功能放進系統,短期內你還不能在 iPhone 上直接體驗到。

但對端側 AI 和開發者生態而言,這套技術指明瞭一個很有意思的解題思路。擴散模型最大的痛點之一就是多步去噪帶來的計算和時間開銷,把它們塞進手機和電腦時總要在速度與畫質之間做妥協。而 STARFlow 依託歸一化流的數學特性,能夠支援精確最大似然訓練,甚至能讓模型準確評估自身的不確定性。這種對生成過程的精確控制,我們認為非常契合對穩定性要求更高的端側生成和企業級工作流。

從蘋果自身的處境來看,這一步走得相當有戰略意圖。近期彭博社等分析指出 Siri 和 Apple Intelligence 相比對手顯得落後,剛開完的 WWDC 上蘋果展示的 AI 更新也被外界認為相對保守。在大家都扎堆微調擴散模型的時候,蘋果選擇拉上流模型先驅 Laurent Dinh 等學界頂尖力量攻堅底層數學架構,看起來是想在算力受限的裝置端走出一條屬於自己的差異化硬體協同路線。

隱患在於,學術突破到消費級工程落地之間隔著巨大的鴻溝。前沿擴散模型已經積累了龐大的開源生態與商業工具鏈,STARFlow 就算畫質能打平,蘋果後續能不能把它真正做成能在 iPhone 上流暢跑起來、且畫風足夠可控的殺手級功能,仍然有待事實檢驗。

來源 (1)

  1. [1]
    venturebeat.com(在新分頁開啟)原文venturebeat.com

每日 AI 內容精選