Nvidia 推出生圖個性化方法 Perfusion：僅 100KB、訓練只要 4 分鐘

如果你想讓 AI 畫出你家那隻特定的貓，目前最常見的辦法是拿十幾張照片去微調模型。但微調出來的檔案往往有上百兆甚至幾吉位元組，練一次還要折騰半天。

Nvidia 和以色列特拉維夫大學的研究人員最近拿出了一種新方案，叫 Perfusion。這個文生圖個性化微調模型的大小隻有 100KB，一張老式軟盤都能裝下，而且訓練時間只要大約 4 分鐘。

用「Key-Locking」鎖住特徵，而不是死記硬背

AI 在學習特定物體時最容易碰到的問題是過擬合。說白了就是模型把訓練圖背得太死，畫出來的貓永遠是那幾個姿勢，一旦換個背景就崩了。

Perfusion 的核心機制叫「Key-Locking」。它的邏輯是把使用者想加入的特定概念，比如你家的小貓 Tom，在生成過程中與更寬泛的類別概念貓科動物繫結起來。

這樣一來，模型知道它本質上是一隻貓，可以在不同姿勢、表情和環境裡自由變換，同時又牢牢鎖住 Tom 獨有的外觀特徵。你讓它在花叢裡打滾或者玩毛線球，畫出來的依然是你家的貓，而不是一隻路人貓。

更厲害的是，它還支援在一個畫面裡同時揉進多個個性化概念，並讓它們自然互動。比如讓你指定的貓，穩穩坐在你指定的那把特定椅子上。

100KB 解決大模型微調的笨拙

對比一下現有的個性化微調方案，就能看出這個體積有多誇張。

在 Stable Diffusion 社群裡，大家常用的 LoRA 檔案小則幾十兆，大則超過 1GB；精度更高的 Textual Inversion 倒是很小，但準確度欠佳；而效果最逼真的 Dreambooth，動輒要生成超過 2GB 的龐大檔案。

Perfusion 的思路是隻更新生成過程中最關鍵的部分，而不是大動干戈去調整整個大模型。因此它不僅體積壓到了 100KB 級別，推理時還能讓使用者動態調節滑動條。

使用者不用重新訓練，就能直接在影像還原度和提示詞跟隨度之間找平衡。你可以決定是讓貓長得更像原型，還是讓它更嚴格聽從提示詞裡的複雜場景指令。

根據論文的對比，Perfusion 在特定編輯效率上擊敗了 Stable Diffusion v1.5、新出的 Stable Diffusion XL（SDXL）以及 MidJourney 所採用的微調手段。

目前 Nvidia 只是放出了這篇研究論文，並承諾很快會開源相關程式碼。

為什麼重要

在生成式 AI 領域，算力軍火商 Nvidia 的技術風向往往決定了下游開發者的工具鏈走向。

對普通創作者和獨立開發者來說，Perfusion 的意義非常實在。以往搭建個性化文生圖應用，伺服器端要為每個使用者儲存幾百兆甚至數吉位元組的模型權重，儲存和載入成本極高。如果個性化特徵能壓縮到 100KB、4 分鐘練完，那就意味著在本地裝置或邊緣端執行個性化 AI 變成了可能，甚至能做到隨用隨下、即時載入。

我們認為，Nvidia 這一步走得相當精明。它沒有去捲動輒幾百億引數的底層底模，而是精準切中了文生圖落地最痛的個性化定製與微調成本。把大象裝進火柴盒，證明了演算法結構的巧妙最佳化遠比盲目堆砌引數有效。

不過隱患也在這裡：Nvidia 目前還沒開放程式碼，論文裡的出色表現究竟在多大程度上依賴測試集的精心設計，以及面對複雜構圖或冷門概念時 Key-Locking 會不會失效，都還需要開源社群的實測檢驗。但無論如何，輕量化微調這條路線已經被它徹底踩出了一條新路。