跳到正文
IFAI

AI工具

艺术家反击 AI 抓取:芝加哥大学团队推出数据投毒工具 Nightshade

首次发布 传播指数 41

芝加哥大学团队公布数据投毒工具 Nightshade。艺术家上传作品前可用它对像素做微小调整,若被 AI 抓取用于训练,会导致模型识别错乱(例如把狗画成猫)。该工具旨在反制未经许可抓图的 AI 公司,后续将开源并集成进 Glaze。

艺术家反击 AI 抓取:芝加哥大学团队推出数据投毒工具 Nightshade
图:technologyreview.com

如果你画了一只狗发到网上,原本只是想分享创作,结果被 AI 公司抓去喂了模型,你大概会觉得很憋屈。现在有学者给画师们递了一把刀:他们做了一款叫 Nightshade 的工具,让你在上传画作前给像素下点毒。

这把毒药人眼完全看不出来,但 AI 爬去训练之后,整个认知系统就会慢慢错乱。芝加哥大学教授 Ben Zhao 带领的团队研发了 Nightshade,并已经将论文提交给计算机安全会议 Usenix 进行同行评审。

喂 300 张毒图,狗就变成了猫

Nightshade 的原理其实是抓住生成式 AI 的软肋:大模型全靠在互联网上大肆搜刮图片来训练,如果这些原始素材被动了手脚,模型学出来的东西就会彻底跑偏。

艺术家可以用它给图片加上极细微的像素级改动。比如,一张看起来明明是帽子的图,AI 看了却会认定它是蛋糕;手提包被识别成烤面包机。

研究团队用最新的 Stable Diffusion 模型和自己从零训练的模型做了测试。结果让人吃惊:仅仅投喂 50 张被下毒的狗图片,模型生成的狗就开始肢体错位、长出诡异卡通脸;投喂到 300 张时,你输入「狗」,Stable Diffusion 吐出来的直接就是猫。

更麻烦的是,大模型天生擅长联想,这反而成了毒素扩散的温床。下毒不仅会毁掉「狗」这个词,连带「小狗」「哈士奇」「狼」都会遭殃。如果你给「奇幻艺术」下毒,模型连「巨龙」和《指环王》里的城堡都会一并画崩。

清洗这些毒数据代价极高。科技公司必须一张一张找出被污染的样本删掉,几乎等于要把整个数据集翻个底朝天。

从被动防御到主动还击

Ben Zhao 团队之前做过一款叫 Glaze 的工具,那是用来给画作披一层风格保护罩,防止 AI 偷学自己的画风。这次他们打算把 Nightshade 整合进 Glaze,让画师自己选要不要给作品下毒。

不仅如此,团队还决定将 Nightshade 开源。Ben Zhao 觉得,用的人越多、大家魔改出越多版本,这件武器的杀伤力就越大。插画师 Eva Toorenent 坦言,各大平台之前给的退出机制根本是在折腾创作者,话语权全在科技大厂手里;Nightshade 则让大厂不得不掂量一下,未经许可乱抓数据的代价会不会是毁掉整个模型。

曾发现自己作品被偷偷抓进 LAION 数据集而愤然删网的艺术家 Autumn Beverly 也表示,这类工具让她终于有勇气重新在网上发布作品。

不过 Ben Zhao 也承认存在被恶意滥用的风险。好在大模型动辄用几十亿张图训练,攻击者通常需要几千张毒样本才能重创巨型商业模型。康奈尔大学研究 AI 模型安全的 Vitaly Shmatikov 教授指出,目前行业对这种攻击还没有有效的防御手段,在野外爆发只是时间问题,防御研究必须立刻开始。

为什么重要

对于画师和视觉创作者来说,Nightshade 最大的价值不是真的去干掉某个大模型,而是给创作者群落提供了一种实质性的反制手段。以前画师面对网络爬虫只能被动隐藏或签没用的免责声明,现在只要工具开源并整合进日常工作流,大家随手给图加一层保护,就能建立起群体的护城河。

在行业层面,这会直接逼迫做文生图模型的公司改变数据采购方式。无节制的网络抓取不再是零成本的免费午餐,而是变成了随时可能吞下毒药的高危操作。这很可能会倒逼 OpenAI、Stability AI 等公司坐下来老老实实跟创作者谈版权、推出版权补偿机制,或者转向彻底清洗过的私有许可数据集。

我们认为,Nightshade 的精妙之处在于它利用了深度学习本身的联想机制来以子之矛攻子之盾。但它的隐患也同样明显:一旦工具彻底开源,很难保证它只被画师用来维权。如果恶意组织针对特定概念进行大规模投毒,可能会破坏公共开源数据集的可用性。这场关于训练数据合法性的拉锯战,才刚刚进入技术对抗的深水区。

来源 (1)

  1. [1]
    technologyreview.com(在新标签页打开)原文technologyreview.com

话题追踪艺术家对抗 AI 抓取的工具开发

这个话题的历次新闻,最新的在上面。

  1. 如何防止画作被 AI 拿去训练:从官方退出到 Glaze 与 Nightshade 防护
  2. 反击 AI 抓取:芝加哥大学投毒工具 Nightshade 开放下载
  3. 艺术家反击 AI 抓取:芝加哥大学团队推出数据投毒工具 Nightshade本条
  4. Spawning 上线 Kudurru:阻击 AI 爬虫,创作者还能用假图「投毒」反击

每日 AI 内容精选