LAION 重發 58 億圖文資料集：剔除 2236 條涉嫌違規連結

Re-LAION-5B 是著名多模態訓練資料集 LAION-5B 的重新清洗版，主要用來訓練大規模圖文生成模型和多模態表徵模型。

如果你手頭正在用舊版 LAION-5B 做多模態研究，或者打算從頭預訓練一個影像生成模型，這個新版本能幫你避開嚴重的法律和倫理雷區。

它做了哪些清洗

LAION 本身並不儲存實際圖片，它本質上是一個索引資料庫，記錄了從 Common Crawl 公開網頁中抓取到的圖片網址和對應的 alt 文本。

2023 年 12 月，斯坦福網路觀察臺釋出調查，指出舊版 LAION-5B 中包含至少 1679 條涉及非法兒童性虐待材料的連結，還有大量成人內容和惡意言論。隨後 LAION 團隊暫時下線了該資料集。

這次釋出的 Re-LAION-5B 是在多家外部機構協助下完成整改的結果。合作方包括英國網際網路觀察基金會、人權觀察組織、加拿大兒童保護中心以及現已關閉的斯坦福網路觀察臺。

根據這些機構提供的連結和圖片雜湊值比對，LAION 團隊共清理了 2236 條涉嫌違規兒童內容的連結，這其中涵蓋了斯坦福報告此前指出的 1008 條連結。

包含什麼與如何獲取

Re-LAION-5B 整體包含約 55 億至 58 億個圖文配對資料，採用 Apache 2.0 許可證開源釋出。

資料集這次分成了兩個版本供研究者下載。第一個是基礎的 Re-LAION-5B Research，只針對涉嫌兒童違規內容的連結做了精準剔除。

第二個是 Re-LAION-5B Research-Safe，在清理違規連結的基礎上，進一步過濾掉了不適合工作場合的成人 NSFW 內容，適合對資料純淨度要求更高的場景。

如果你本地已經下載並存有數 TB 的舊版 LAION-5B 資料，並不需要全部重新下載一遍。LAION 放出了完整的後設資料清單，研究團隊可以直接用這些後設資料匹配並刪除本地已有的違規條目。

目前該資料集已經重新開放後設資料下載，研究人員可以通過 LAION 官方渠道獲取。

為什麼重要

對於做計算機視覺和擴散模型研究的團隊來說，這是目前開源社群體量最大、且經過多方機構合規清洗的基礎圖文資料集。如果你的實驗室還在用舊版 LAION-5B，我們建議儘快根據官方後設資料剔除違規內容，或者直接遷移到新版，避免潛在的法律風險。

不過需要分清的是，洗掉資料索引並不等於徹底解決了下游模型的問題。歷史上像 Stability AI 的 Stable Diffusion 乃至 Google 的生成模型都曾使用過舊版資料，模型權重裡學到的特徵無法通過重新發布資料集來撤回，此前 Runway 已經從 Hugging Face 下架了 Stable Diffusion 1.5。

此外，LAION 官方強調該資料集僅限學術研究用途，不得用於商業目的。對商業團隊來說，直接拿它來訓練商用底模依然存在授權和資料來源爭議，更穩妥的做法仍是採用自建或合規授權的資料管線。