LAIONが画像データセットを再公開、不適切リンク2236件を削除

Re-LAION-5Bは、Stable Diffusionなどの画像生成モデルの学習に広く使われてきた大規模データセット「LAION-5B」の再公開版です。

マルチモーダルモデルの研究や独自の画像生成モデルを事前学習している研究者にとって、深刻な法的・倫理的リスクを回避しながら利用できるオープンな学習資源となります。

何が削除されたのか

前提として、LAION自体は画像を直接ホストしていません。Common Crawlで収集されたWebページから画像URLとaltテキストを抽出したインデックス集です。

2023年12月、スタンフォード・インターネット観測所（SIO）の調査により、LAION-5B内に児童性的虐待素材（CSAM）へのリンクが少なくとも1679件含まれていることが判明し、データセットは一時公開停止となっていました。

今回の再公開にあたり、LAIONはインターネット・ウォッチ財団（IWF）、ヒューマン・ライツ・ウォッチ、カナダ児童保護センター、そしてSIOの勧告を受け入れました。

各機関から提供されたハッシュ値やURLリストと照合した結果、児童性的虐待に関わる疑いのあるリンク計2236件が完全に除外されました。これにはスタンフォードのレポートが特定した1008件も含まれています。

仕様とダウンロード

Re-LAION-5Bは約55億から58億件の画像とテキストのペアで構成され、Apache 2.0ライセンスで提供されます。

データセットは2つの仕様で用意されています。違法リンクのみを厳密に排除した「Re-LAION-5B Research」と、成人向けNSFWコンテンツも追加でフィルタリングした「Re-LAION-5B Research-Safe」です。

すでに旧版LAION-5Bをローカルに保存している場合、膨大なデータを再ダウンロードする必要はありません。LAIONが公開したメタデータを用いて、手元のデータから該当リンクを削除するだけでクリーンアップが可能です。

メタデータは現在、LAIONの公式リポジトリから入手できます。

なぜ重要か

画像処理や基盤モデルを扱う研究機関にとって、コンプライアンス上の懸念を大幅に減らした形で巨大データセットを再利用できる意義は大きいです。旧版を保管したままの研究室は、速やかにメタデータを適用してデータを差し替えるべきでしょう。

一方で、インデックスを修正しても過去のモデルから学習済みの特徴が消えるわけではありません。実際、RunwayはHugging FaceからStable Diffusion 1.5を非公開にするなど影響は残っています。

また、LAIONは商用利用ではなく研究用途を前提としていると強調しています。商用プロダクトの開発においては、スクレイピング依存のデータセットに頼るのではなく、権利許諾の取れたデータパイプラインを構築することが依然として不可欠です。