画像生成AIの無断学習に対抗、シカゴ大がデータ汚染ツール「Nightshade」発表

自分の描いたイラストをネットに公開したら、許可もなくAIモデルの学習データに吸い上げられていた。そんなクリエイターの無力感に対抗する強力なツールが登場しました。

シカゴ大学のBen Zhao教授らの研究チームが開発した「Nightshade」は、人間の目には見えない微細なピクセル変更を加えることで、画像を学習した画像生成AIを内部から混乱させるデータポイズニングツールです。研究論文はセキュリティ学会Usenixに提出され、MIT Technology Reviewが独占プレビューを報じました。

わずか300枚の毒入り画像で「犬」が「猫」に化ける

Nightshadeの仕組みは、生成AIの最大の弱点である「ネット上から大量の画像を無差別に収集して学習している」点をついたものです。

アーティストがこのツールを通して画像を加工すると、人間には普通の帽子に見えるのに、AIにはケーキと誤認識されるようになります。研究チームがStable Diffusionの最新モデルで検証したところ、毒入り「犬」画像をわずか50枚学習させただけで、生成される犬の手足が増えたり奇妙な顔になったり崩れ始めました。300枚を超えると、プロンプトに「犬」と入力しても猫が出力されるようになりました。

生成AIは言葉の概念を結びつける能力が高いため、毒は横方向にも伝染します。「犬」が壊れると「子犬」「ハスキー」「狼」といった関連概念も巻き添えになります。さらに「ファンタジーアート」に毒を盛れば、「ドラゴン」や城の生成結果まで狂ってしまうといいます。混入した毒データをモデルから除去するには1枚ずつ手作業で特定して削除する必要があり、対応は極めて困難です。

スタイル防御から反撃へ、オープンソース化も予定

研究チームは以前、画風の模倣を防ぐツール「Glaze」を公開していますが、Nightshadeはその機能の一部として統合される予定です。さらにオープンソース化も計画されており、誰でも改変して使えるようになります。利用者が増えて亜種が広がるほど、AI企業が防ぐのは難しくなります。

自身の作品が無断でLAIONデータセットに収集されていたイラストレーターのEva Toorenent氏は、企業の用意するオプトアウト制度は手間ばかりで権力を企業側に残したままだと指摘します。Nightshadeのようなツールがあれば、無断収集によって自社モデルそのものが破壊されるリスクを企業に意識させられると期待を寄せています。

コーネル大学のVitaly Shmatikov教授は、現時点でこの攻撃に対する確実な防御策は存在せず、実際の環境で攻撃が発生するのは時間の問題だと指摘。今すぐ防御策の開発に取り組む必要があると警鐘を鳴らしています。

なぜ重要か

クリエイターにとって、Nightshadeは泣き寝入りを強いられてきた無断学習に対する初めての実効性ある自衛手段です。自分の作風を守るだけでなく、勝手にデータを持ち去る企業にリスクを負わせることができるため、ネット上へ作品を投稿する安心感を取り戻すきっかけになります。

AI業界にとっては、ネット上のデータを無尽蔵に無償回収するビジネスモデルの転換点になり得ます。毒入りデータが混ざるリスクがある以上、スクレイピングによるデータ収集は高リスクな行為となり、正当な対価を払ってライセンス契約を結んだ安全なデータセットを調達する動きが加速するはずです。

私たちは、このアプローチをモデルの強みである概念連想を逆手に取った極めてスマートなカウンターだと評価しています。ただし、ツールがオープンソース化されれば、特定のモデルやコミュニティを標的にした悪意あるポイズニングに悪用される懸念も拭えません。法整備が進まないなか、技術対技術の泥沼の対抗戦に突入した印象を受けます。