研究證實擴散模型會「死記硬背」：Stable Diffusion 能直接復現原圖

支援 AI 作畫的人最常說的一句話，就是 AI 和人類藝術家一樣，只是在汲取靈感，畫出來的每一張圖都是全新創作。

但這套說辭現在被一份研究狠狠戳破了。

來自 Google Brain、DeepMind、UC 伯克利和普林斯頓大學的研究團隊釋出論文，證實 Stable Diffusion 和 Google 的 Imagen 等擴散模型會暗自「死記硬背」訓練集裡的影像，並在遇到特定提示詞時直接把原圖吐出來。

喂出原圖的提示詞

這項研究由 Google Brain 研究員 Nicholas Carlini 牽頭。在此之前，這批研究人員就曾發現 OpenAI 的語言模型 GPT-2 存在類似的資料洩露問題，這次他們把目光轉向了影像生成領域。

測試方法聽起來很直接：團隊從 Stable Diffusion 使用的 LAION 訓練資料集中抓取原本的圖片描述（caption），當作提示詞喂回給模型，然後把生成出來的圖片和訓練集人工比對。

結果顯示，AI 確實會精準復現原圖，生成出來的畫面幾乎一模一樣，僅僅多了一點細微的數字噪點。

論文作者之一、UC 伯克利博士生 Eric Wallace 和普林斯頓大學博士生 Vikash Sehwag 透露，這種完全複製的情況其實很罕見。他們測試了大約 30 萬個不同的提示詞，發現的記憶率大約只有 0.03%。

但這絕不代表可以高枕無憂。

模型越大，抄得越狠

普林斯頓大學的 Sehwag 指出，問題的關鍵在於模型的本質任務是「泛化」去創造新圖，而不是吐出背下來的原圖。

而且研究人員發現，Google 的 Imagen 甚至能記住在資料集中僅出現過一次的單張圖片。更棘手的是，老一代基於 GAN（生成對抗網路）的模型沒有這種記憶死穴，而畫質更好、主流都在用的擴散模型卻全員中招。

研究還指出一個讓人擔憂的趨勢：模型體積越大、引數越複雜，死記硬背的問題就越嚴重。像 Stable Diffusion 這種相對較小的模型，本身儲存空間有限，能背下來的圖片少；但隨著未來幾年模型規模成倍暴漲，直接復現原圖的機率很可能會大幅攀升。

參與研究的蘇黎世聯邦理工學院教授 Florian Tramèr 還提醒，他們提取出來的很多原圖都是擁有版權的。哪怕開發團隊試圖通過清洗和去重來過濾資料，也沒法徹底堵死資料洩漏。

如果拿擴散模型來合成敏感資料，比如醫療領域的 X 光片，一旦模型把某個病人的真實病歷原原本本地畫出來，隱私洩漏的後果將不堪設想。

為什麼重要

這項研究最直接的衝擊，是擊穿了生成式 AI 面對版權官司時最核心的防禦掩體。

過去平臺總能辯稱模型輸出純屬「巧合與啟發」，但 0.03% 的死記硬背鐵證如山。對普通創作者和商業使用者來說，這意味著風險：哪怕你花錢買了商用許可，生成的圖片依然有可能一字不差地撞上別人的版權原圖，在毫不知情下捲入侵權漩渦。

我們認為，這項研究給整個擴散模型路線敲了一記警鐘。雖然各大廠商都在強調去重和過濾，但只要底層依然依賴破壞加去噪的擴散機制，記憶洩漏在數學上就很難徹底根除。

未來行業為了自保，很可能會在輸出端加上強硬的相似度比對攔截器，或者逼迫模型開發商徹底放棄野蠻爬取的網頁資料。在模型變得越來越大、抄襲風險越來越高的今天，生成式 AI 的版權防火牆必須重構了。