跳到正文
IFAI

AI工具

藝術家反擊 AI 抓取:芝加哥大學團隊推出資料投毒工具 Nightshade

首次發布 傳播指數 41

芝加哥大學團隊公佈資料投毒工具 Nightshade。藝術家上傳作品前可用它對畫素做微小調整,若被 AI 抓取用於訓練,會導致模型識別錯亂(例如把狗畫成貓)。該工具旨在反制未經許可抓圖的 AI 公司,後續將開源並整合進 Glaze。

藝術家反擊 AI 抓取:芝加哥大學團隊推出資料投毒工具 Nightshade
圖:technologyreview.com

如果你畫了一隻狗發到網上,原本只是想分享創作,結果被 AI 公司抓去餵了模型,你大概會覺得很憋屈。現在有學者給畫師們遞了一把刀:他們做了一款叫 Nightshade 的工具,讓你在上傳畫作前給畫素下點毒。

這把毒藥人眼完全看不出來,但 AI 爬去訓練之後,整個認知系統就會慢慢錯亂。芝加哥大學教授 Ben Zhao 帶領的團隊研發了 Nightshade,並已經將論文提交給電腦保安會議 Usenix 進行同行評審。

喂 300 張毒圖,狗就變成了貓

Nightshade 的原理其實是抓住生成式 AI 的軟肋:大模型全靠在網際網路上大肆搜刮圖片來訓練,如果這些原始素材被動了手腳,模型學出來的東西就會徹底跑偏。

藝術家可以用它給圖片加上極細微的畫素級改動。比如,一張看起來明明是帽子的圖,AI 看了卻會認定它是蛋糕;手提包被識別成烤麵包機。

研究團隊用最新的 Stable Diffusion 模型和自己從零訓練的模型做了測試。結果讓人吃驚:僅僅投餵 50 張被下毒的狗圖片,模型生成的狗就開始肢體錯位、長出詭異卡通臉;投餵到 300 張時,你輸入「狗」,Stable Diffusion 吐出來的直接就是貓。

更麻煩的是,大模型天生擅長聯想,這反而成了毒素擴散的溫床。下毒不僅會毀掉「狗」這個詞,連帶「小狗」「哈士奇」「狼」都會遭殃。如果你給「奇幻藝術」下毒,模型連「巨龍」和《指環王》裡的城堡都會一併畫崩。

清洗這些毒資料代價極高。科技公司必須一張一張找出被汙染的樣本刪掉,幾乎等於要把整個資料集翻個底朝天。

從被動防禦到主動還擊

Ben Zhao 團隊之前做過一款叫 Glaze 的工具,那是用來給畫作披一層風格保護罩,防止 AI 偷學自己的畫風。這次他們打算把 Nightshade 整合進 Glaze,讓畫師自己選要不要給作品下毒。

不僅如此,團隊還決定將 Nightshade 開源。Ben Zhao 覺得,用的人越多、大家魔改出越多版本,這件武器的殺傷力就越大。插畫師 Eva Toorenent 坦言,各大平臺之前給的退出機制根本是在折騰創作者,話語權全在科技大廠手裡;Nightshade 則讓大廠不得不掂量一下,未經許可亂抓資料的代價會不會是毀掉整個模型。

曾發現自己作品被偷偷抓進 LAION 資料集而憤然刪網的藝術家 Autumn Beverly 也表示,這類工具讓她終於有勇氣重新在網上釋出作品。

不過 Ben Zhao 也承認存在被惡意濫用的風險。好在大模型動輒用幾十億張圖訓練,攻擊者通常需要幾千張毒樣本才能重創鉅型商業模型。康奈爾大學研究 AI 模型安全的 Vitaly Shmatikov 教授指出,目前行業對這種攻擊還沒有有效的防禦手段,在野外爆發只是時間問題,防禦研究必須立刻開始。

為什麼重要

對於畫師和視覺創作者來說,Nightshade 最大的價值不是真的去幹掉某個大模型,而是給創作者群落提供了一種實質性的反制手段。以前畫師面對網路爬蟲只能被動隱藏或籤沒用的免責宣告,現在只要工具開源並整合進日常工作流,大家隨手給圖加一層保護,就能建立起群體的護城河。

在行業層面,這會直接逼迫做文生圖模型的公司改變資料採購方式。無節制的網路抓取不再是零成本的免費午餐,而是變成了隨時可能吞下毒藥的高危操作。這很可能會倒逼 OpenAI、Stability AI 等公司坐下來老老實實跟創作者談版權、推出版權補償機制,或者轉向徹底清洗過的私有許可資料集。

我們認為,Nightshade 的精妙之處在於它利用了深度學習本身的聯想機制來以子之矛攻子之盾。但它的隱患也同樣明顯:一旦工具徹底開源,很難保證它只被畫師用來維權。如果惡意組織針對特定概念進行大規模投毒,可能會破壞公共開源資料集的可用性。這場關於訓練資料合法性的拉鋸戰,才剛剛進入技術對抗的深水區。

來源 (1)

  1. [1]
    technologyreview.com(在新分頁開啟)原文technologyreview.com

話題追蹤藝術家對抗 AI 抓取的工具開發

這個話題的歷次新聞,最新的在上面。

  1. 如何防止畫作被 AI 拿去訓練:從官方退出到 Glaze 與 Nightshade 防護
  2. 反擊 AI 抓取:芝加哥大學投毒工具 Nightshade 開放下載
  3. 藝術家反擊 AI 抓取:芝加哥大學團隊推出資料投毒工具 Nightshade本則
  4. Spawning 上線 Kudurru:阻擊 AI 爬蟲,創作者還能用假圖「投毒」反擊

每日 AI 內容精選