扩散模型简史:从加噪去噪到催生图像、音乐与蛋白质设计
盘点了支撑当下图像生成 AI 的核心技术扩散模型的发展历程。扩散模型借鉴非平衡热力学,通过学习从噪声中恢复数据的逆过程,并在 OpenAI CLIP 的指引下实现精准生成。除了画画,该架构正快速扩展至音乐创作以及蛋白质和 DNA 序列设计等生物医疗领域。

如果把一张清晰的照片比作一块方糖,往里面不断扔杂讯,就像把糖放进热咖啡里搅散,最后只剩下一杯均匀浑浊的液体。
物理世界里,你不可能把化掉的糖再拼回方糖。但计算机科学家硬是把这个过程倒了过来,让 AI 学会了怎么把满屏幕的白噪音一步步洗掉,变出一张细节逼真的画作。这就是扩散模型(Diffusion),也是过去一年让文生图技术突然爆发的底层发动机。
今年无论是 DALL-E 2 还是开源的 Stable Diffusion,都在创意圈掀起了风暴,Canva 和 DeviantArt 等平台也迅速把它嵌进了自己的工作流。但如果只把它当成画图玩具,那就低估它了。
告别经常崩溃的对抗网络
在扩散模型接管之前,图像生成领域的头牌一直是生成对抗网络(GAN)。你熟悉的 AI 换脸应用,还有英伟达能凭空捏出假人头像的 StyleGAN,底层都是它。
GAN 的结构像是伪造者和鉴别师在打擂台。一个负责造假,另一个负责挑刺,两者互相博弈,直到鉴别师再也分不出真假。
听起来很完美,但实际训练起来极其头疼。生成器和判别器同时训练极其不稳定,动不动就会陷入崩溃,开始没完没了地吐出千篇一律的废图。而且 GAN 胃口极大,需要海量算力和数据,扩展起来困难重重。
扩散模型的出现彻底换了思路。它虽然在学术界存在了近十年,但真正让它产生质变的,是 OpenAI 后来推出的 CLIP 技术。
逆向去噪就像在一整块粗糙的大理石上雕刻,而 CLIP 就像旁边的雕刻大师。你输入一句提示词,每去掉一点噪声,CLIP 就给当前画面打一个分,指引模型朝更符合文字描述的方向修正。这种引导机制直接催生了 DALL-E 2 和 Stable Diffusion 的诞生。
从哼小曲到设计抗癌药
只要能把信息转化成类似图形或序列的结构,扩散模型几乎什么都能生成。
在音乐领域,Stability AI 支持的 Harmonai 靠训练数百小时音频生成音乐片段;两位开发者鼓捣出的趣味项目 Riffusion,甚至直接把音频压成声谱图,用普通的图像扩散模型来跑音乐。
走得更远的是生物医学。初创公司 Generate Biomedicines 把蛋白质的氨基酸链打散,再在条件限制下重新拼成新蛋白;华盛顿大学的团队则用扩散模型设计出了能结合甲状旁腺激素的蛋白质,结合效果甚至好过现有药物。
还有一个叫 OpenBioML 的团队正在开发 DNA-Diffusion。他们的目标更直接,就是让科研人员输入一段文字,比如指定在肝脏和心脏中激活基因,AI 就能逆向生成对应的调控 DNA 序列。
为什么重要
对于创作者和开发者来说,文生图的门槛已经被打到了地板上。你不再需要精通传统复杂的建模工具,甚至普通的轻量级开发者也能靠现成的开源模型搞出像 Riffusion 那样有意思的小工具。但它眼下依然带着刺,来源提到这些模型存在死记硬背训练数据的毛病,版权隐患至今悬而未决,商业化使用时得提防踩坑。
对整个行业而言,扩散模型在生物医药和基础科研上的突围,正在改变大模型的竞争赛道。它证明了生成式 AI 不只是聊天和插画的辅助工具,而是能实质性缩短药物发现和基因工程的研发周期。
我们认为,扩散模型最聪明的地方在于它彻底避开了 GAN 脆弱的博弈机制,把极其难解的生成问题拆解成了一步一步可控的概率去噪过程。当然,就像当年扩散模型取代 GAN 一样,它现在依然背着巨大的计算开销,未来随时可能被更高效的新架构取代;但至少在当下,它依然是整个生成式 AI 领域最具通用性、统治力最强的技术地基。
来源 (1)
- techcrunch.com(在新标签页打开)原文techcrunch.com