跳到正文
IFAI

AI科研

OpenAI 探索「一致性模型」:單步完成影像生成,速度快一個數量級

首次發布 傳播指數 33

TechCrunch 報道 OpenAI 發表「一致性模型」(Consistency Models)論文,嘗試用一到兩步計算完成影像生成。傳統擴散模型需要數十至上千步去噪,而新模型能在單步內搞定生成、上色或超分,速度快一個數量級。雖然初期畫質較粗糙,但為手機端側執行和即時生圖打開了新方向。

如果你用過 Midjourney 或 Stable Diffusion,大概對那個進度條很熟悉:畫面從一片電視雪花點開始,幾十步甚至上百步後,細節才一點點清晰起來。

這種擴散模型固然好看,但算力消耗極大,速度也慢得很難做進即時互動裡。現在,OpenAI 想把這幾十上百步,直接砍成一步。

上個月,OpenAI 的研究團隊在預印本平臺悄悄上線了一篇硬核學術論文,提出了名為「一致性模型」(Consistency Models)的新型影像生成技術。論文作者名單裡不僅有主要研究者 Yang Song、Prafulla Dhariwal 和 Mark Chen,還有 OpenAI 聯合創始人兼首席科學家 Ilya Sutskever。

告別漫長去噪,一步直接出圖

要理解一致性模型,得先看看它要替代的擴散模型。

擴散模型的工作邏輯,是先把一張完全由噪聲組成的圖片拿過來,通過 10 次到上千次計算,一點點把噪聲剝除,讓畫面逐漸貼近你的提示詞。這個過程很精細,但代價是太貴、太慢,想做即時應用基本不太現實。

一致性模型的思路完全不同,它的目標是在單次計算,或者最多兩步之內,直接拿出像模像樣的結果。

訓練時,它同樣會觀察影像被破壞的過程。但它學會了在任意模糊或噪聲程度下,直接跳過中間繁瑣的逐步推導,僅憑一步對映就還原出完整的原始影像。

必須說實話,這項早期實驗技術目前生成的影像還談不上驚豔,有些甚至連好看都算不上。但它的意義在於速度拉高了一個數量級,而且不僅能畫畫,還能在單步內搞定上色、影像放大、草圖還原和區域性重繪等多種任務,通常加到第二步,畫質就會明顯提升。

為什麼重要

對普通使用者和開發者來說,這套模型現在顯然還沒到可以替代日常畫圖工具的地步。你現在還不能指望它做出 Midjourney 級別的精美大片,它目前更像實驗室裡跑通的一個原型。

但它的價值在於未來的場景。如果你想在智慧手機上本地跑影像生成,又不想幾秒鐘抽乾電池;或者想在即時聊天、遊戲渲染裡實現毫秒級即時出圖,傳統的擴散模型根本扛不住這種開銷。一致性模型開啟的正是輕量化和端側部署的可能。

從行業競爭來看,我們認為這一步走得相當敏銳。當整個行業都在卷擴散模型的引數量、堆 GPU 叢集做精細打磨時,OpenAI 已經在尋找下一代底層架構了。在機器學習領域,通常是新路徑一開始效果奇差但極其高效,隨後靠工程迭代迅速追平舊技術。

看起來,OpenAI 很清楚多模態的未來不能只靠堆算力硬撐。不過這項技術到底會成為下一個顛覆性的通用基座,還是僅僅作為特定低延遲場景的補充手段,還要看後續畫質能否真正逼近擴散模型。

來源 (1)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com

每日 AI 內容精選