Nvidia 推出生图个性化方法 Perfusion：仅 100KB、训练只要 4 分钟

如果你想让 AI 画出你家那只特定的猫，目前最常见的办法是拿十几张照片去微调模型。但微调出来的文件往往有上百兆甚至几吉字节，练一次还要折腾半天。

Nvidia 和以色列特拉维夫大学的研究人员最近拿出了一种新方案，叫 Perfusion。这个文生图个性化微调模型的大小只有 100KB，一张老式软盘都能装下，而且训练时间只要大约 4 分钟。

用「Key-Locking」锁住特征，而不是死记硬背

AI 在学习特定物体时最容易碰到的问题是过拟合。说白了就是模型把训练图背得太死，画出来的猫永远是那几个姿势，一旦换个背景就崩了。

Perfusion 的核心机制叫「Key-Locking」。它的逻辑是把用户想加入的特定概念，比如你家的小猫 Tom，在生成过程中与更宽泛的类别概念猫科动物绑定起来。

这样一来，模型知道它本质上是一只猫，可以在不同姿势、表情和环境里自由变换，同时又牢牢锁住 Tom 独有的外观特征。你让它在花丛里打滚或者玩毛线球，画出来的依然是你家的猫，而不是一只路人猫。

更厉害的是，它还支持在一个画面里同时揉进多个个性化概念，并让它们自然互动。比如让你指定的猫，稳稳坐在你指定的那把特定椅子上。

100KB 解决大模型微调的笨拙

对比一下现有的个性化微调方案，就能看出这个体积有多夸张。

在 Stable Diffusion 社区里，大家常用的 LoRA 文件小则几十兆，大则超过 1GB；精度更高的 Textual Inversion 倒是很小，但准确度欠佳；而效果最逼真的 Dreambooth，动辄要生成超过 2GB 的庞大文件。

Perfusion 的思路是只更新生成过程中最关键的部分，而不是大动干戈去调整整个大模型。因此它不仅体积压到了 100KB 级别，推理时还能让用户动态调节滑动条。

用户不用重新训练，就能直接在图像还原度和提示词跟随度之间找平衡。你可以决定是让猫长得更像原型，还是让它更严格听从提示词里的复杂场景指令。

根据论文的对比，Perfusion 在特定编辑效率上击败了 Stable Diffusion v1.5、新出的 Stable Diffusion XL（SDXL）以及 MidJourney 所采用的微调手段。

目前 Nvidia 只是放出了这篇研究论文，并承诺很快会开源相关代码。

为什么重要

在生成式 AI 领域，算力军火商 Nvidia 的技术风向往往决定了下游开发者的工具链走向。

对普通创作者和独立开发者来说，Perfusion 的意义非常实在。以往搭建个性化文生图应用，服务器端要为每个用户存储几百兆甚至数吉字节的模型权重，存储和加载成本极高。如果个性化特征能压缩到 100KB、4 分钟练完，那就意味着在本地设备或边缘端运行个性化 AI 变成了可能，甚至能做到随用随下、即时加载。

我们认为，Nvidia 这一步走得相当精明。它没有去卷动辄几百亿参数的底层底模，而是精准切中了文生图落地最痛的个性化定制与微调成本。把大象装进火柴盒，证明了算法结构的巧妙优化远比盲目堆砌参数有效。

不过隐患也在这里：Nvidia 目前还没开放代码，论文里的出色表现究竟在多大程度上依赖测试集的精心设计，以及面对复杂构图或冷门概念时 Key-Locking 会不会失效，都还需要开源社区的实测检验。但无论如何，轻量化微调这条路线已经被它彻底踩出了一条新路。