擴散模型簡史:從加噪去噪到催生影像、音樂與蛋白質設計
盤點了支撐當下影像生成 AI 的核心技術擴散模型的發展歷程。擴散模型借鑑非平衡熱力學,通過學習從噪聲中恢復資料的逆過程,並在 OpenAI CLIP 的指引下實現精準生成。除了畫畫,該架構正快速擴充套件至音樂創作以及蛋白質和 DNA 序列設計等生物醫療領域。

如果把一張清晰的照片比作一塊方糖,往裡面不斷扔雜訊,就像把糖放進熱咖啡裡攪散,最後只剩下一杯均勻渾濁的液體。
物理世界裡,你不可能把化掉的糖再拼回方糖。但電腦科學家硬是把這個過程倒了過來,讓 AI 學會了怎麼把滿螢幕的白噪音一步步洗掉,變出一張細節逼真的畫作。這就是擴散模型(Diffusion),也是過去一年讓文生圖技術突然爆發的底層發動機。
今年無論是 DALL-E 2 還是開源的 Stable Diffusion,都在創意圈掀起了風暴,Canva 和 DeviantArt 等平臺也迅速把它嵌進了自己的工作流。但如果只把它當成畫圖玩具,那就低估它了。
告別經常崩潰的對抗網路
在擴散模型接管之前,影像生成領域的頭牌一直是生成對抗網路(GAN)。你熟悉的 AI 換臉應用,還有輝達能憑空捏出假人頭像的 StyleGAN,底層都是它。
GAN 的結構像是偽造者和鑑別師在打擂臺。一個負責造假,另一個負責挑刺,兩者互相博弈,直到鑑別師再也分不出真假。
聽起來很完美,但實際訓練起來極其頭疼。生成器和判別器同時訓練極其不穩定,動不動就會陷入崩潰,開始沒完沒了地吐出千篇一律的廢圖。而且 GAN 胃口極大,需要海量算力和資料,擴充套件起來困難重重。
擴散模型的出現徹底換了思路。它雖然在學術界存在了近十年,但真正讓它產生質變的,是 OpenAI 後來推出的 CLIP 技術。
逆向去噪就像在一整塊粗糙的大理石上雕刻,而 CLIP 就像旁邊的雕刻大師。你輸入一句提示詞,每去掉一點噪聲,CLIP 就給當前畫面打一個分,指引模型朝更符合文字描述的方向修正。這種引導機制直接催生了 DALL-E 2 和 Stable Diffusion 的誕生。
從哼小曲到設計抗癌藥
只要能把資訊轉化成類似圖形或序列的結構,擴散模型幾乎什麼都能生成。
在音樂領域,Stability AI 支援的 Harmonai 靠訓練數百小時音訊生成音樂片段;兩位開發者鼓搗出的趣味專案 Riffusion,甚至直接把音訊壓成聲譜圖,用普通的影像擴散模型來跑音樂。
走得更遠的是生物醫學。初創公司 Generate Biomedicines 把蛋白質的胺基酸鏈打散,再在條件限制下重新拼成新蛋白;華盛頓大學的團隊則用擴散模型設計出了能結合甲狀旁腺激素的蛋白質,結合效果甚至好過現有藥物。
還有一個叫 OpenBioML 的團隊正在開發 DNA-Diffusion。他們的目標更直接,就是讓科研人員輸入一段文字,比如指定在肝臟和心臟中啟用基因,AI 就能逆向生成對應的調控 DNA 序列。
為什麼重要
對於創作者和開發者來說,文生圖的門檻已經被打到了地板上。你不再需要精通傳統複雜的建模工具,甚至普通的輕量級開發者也能靠現成的開源模型搞出像 Riffusion 那樣有意思的小工具。但它眼下依然帶著刺,來源提到這些模型存在死記硬背訓練資料的毛病,版權隱患至今懸而未決,商業化使用時得提防踩坑。
對整個行業而言,擴散模型在生物醫藥和基礎科研上的突圍,正在改變大模型的競爭賽道。它證明了生成式 AI 不只是聊天和插畫的輔助工具,而是能實質性縮短藥物發現和基因工程的研發週期。
我們認為,擴散模型最聰明的地方在於它徹底避開了 GAN 脆弱的博弈機制,把極其難解的生成問題拆解成了一步一步可控的機率去噪過程。當然,就像當年擴散模型取代 GAN 一樣,它現在依然揹著巨大的計算開銷,未來隨時可能被更高效的新架構取代;但至少在當下,它依然是整個生成式 AI 領域最具通用性、統治力最強的技術地基。
來源 (1)
- techcrunch.com(在新分頁開啟)原文techcrunch.com