OpenAI 探索「一致性模型」:单步完成图像生成,速度快一个数量级
TechCrunch 报道 OpenAI 发表「一致性模型」(Consistency Models)论文,尝试用一到两步计算完成图像生成。传统扩散模型需要数十至上千步去噪,而新模型能在单步内搞定生成、上色或超分,速度快一个数量级。虽然初期画质较粗糙,但为手机端侧运行和实时生图打开了新方向。
如果你用过 Midjourney 或 Stable Diffusion,大概对那个进度条很熟悉:画面从一片电视雪花点开始,几十步甚至上百步后,细节才一点点清晰起来。
这种扩散模型固然好看,但算力消耗极大,速度也慢得很难做进实时交互里。现在,OpenAI 想把这几十上百步,直接砍成一步。
上个月,OpenAI 的研究团队在预印本平台悄悄上线了一篇硬核学术论文,提出了名为「一致性模型」(Consistency Models)的新型图像生成技术。论文作者名单里不仅有主要研究者 Yang Song、Prafulla Dhariwal 和 Mark Chen,还有 OpenAI 联合创始人兼首席科学家 Ilya Sutskever。
告别漫长去噪,一步直接出图
要理解一致性模型,得先看看它要替代的扩散模型。
扩散模型的工作逻辑,是先把一张完全由噪声组成的图片拿过来,通过 10 次到上千次计算,一点点把噪声剥除,让画面逐渐贴近你的提示词。这个过程很精细,但代价是太贵、太慢,想做实时应用基本不太现实。
一致性模型的思路完全不同,它的目标是在单次计算,或者最多两步之内,直接拿出像模像样的结果。
训练时,它同样会观察图像被破坏的过程。但它学会了在任意模糊或噪声程度下,直接跳过中间繁琐的逐步推导,仅凭一步映射就还原出完整的原始图像。
必须说实话,这项早期实验技术目前生成的图像还谈不上惊艳,有些甚至连好看都算不上。但它的意义在于速度拉高了一个数量级,而且不仅能画画,还能在单步内搞定上色、图像放大、草图还原和局部重绘等多种任务,通常加到第二步,画质就会明显提升。
为什么重要
对普通用户和开发者来说,这套模型现在显然还没到可以替代日常画图工具的地步。你现在还不能指望它做出 Midjourney 级别的精美大片,它目前更像实验室里跑通的一个原型。
但它的价值在于未来的场景。如果你想在智能手机上本地跑图像生成,又不想几秒钟抽干电池;或者想在实时聊天、游戏渲染里实现毫秒级即时出图,传统的扩散模型根本扛不住这种开销。一致性模型打开的正是轻量化和端侧部署的可能。
从行业竞争来看,我们认为这一步走得相当敏锐。当整个行业都在卷扩散模型的参数量、堆 GPU 集群做精细打磨时,OpenAI 已经在寻找下一代底层架构了。在机器学习领域,通常是新路径一开始效果奇差但极其高效,随后靠工程迭代迅速追平旧技术。
看起来,OpenAI 很清楚多模态的未来不能只靠堆算力硬撑。不过这项技术到底会成为下一个颠覆性的通用基座,还是仅仅作为特定低延迟场景的补充手段,还要看后续画质能否真正逼近扩散模型。
来源 (1)
- techcrunch.com(在新标签页打开)原文techcrunch.com