LAION 重发 58 亿图文数据集：剔除 2236 条涉嫌违规链接

Re-LAION-5B 是著名多模态训练数据集 LAION-5B 的重新清洗版，主要用来训练大规模图文生成模型和多模态表征模型。

如果你手头正在用旧版 LAION-5B 做多模态研究，或者打算从头预训练一个图像生成模型，这个新版本能帮你避开严重的法律和伦理雷区。

它做了哪些清洗

LAION 本身并不存储实际图片，它本质上是一个索引数据库，记录了从 Common Crawl 公开网页中抓取到的图片网址和对应的 alt 文本。

2023 年 12 月，斯坦福网络观察台发布调查，指出旧版 LAION-5B 中包含至少 1679 条涉及非法儿童性虐待材料的链接，还有大量成人内容和恶意言论。随后 LAION 团队暂时下线了该数据集。

这次发布的 Re-LAION-5B 是在多家外部机构协助下完成整改的结果。合作方包括英国互联网观察基金会、人权观察组织、加拿大儿童保护中心以及现已关闭的斯坦福网络观察台。

根据这些机构提供的链接和图片哈希值比对，LAION 团队共清理了 2236 条涉嫌违规儿童内容的链接，这其中涵盖了斯坦福报告此前指出的 1008 条链接。

包含什么与如何获取

Re-LAION-5B 整体包含约 55 亿至 58 亿个图文配对数据，采用 Apache 2.0 许可证开源发布。

数据集这次分成了两个版本供研究者下载。第一个是基础的 Re-LAION-5B Research，只针对涉嫌儿童违规内容的链接做了精准剔除。

第二个是 Re-LAION-5B Research-Safe，在清理违规链接的基础上，进一步过滤掉了不适合工作场合的成人 NSFW 内容，适合对数据纯净度要求更高的场景。

如果你本地已经下载并存有数 TB 的旧版 LAION-5B 数据，并不需要全部重新下载一遍。LAION 放出了完整的元数据清单，研究团队可以直接用这些元数据匹配并删除本地已有的违规条目。

目前该数据集已经重新开放元数据下载，研究人员可以通过 LAION 官方渠道获取。

为什么重要

对于做计算机视觉和扩散模型研究的团队来说，这是目前开源社区体量最大、且经过多方机构合规清洗的基础图文数据集。如果你的实验室还在用旧版 LAION-5B，我们建议尽快根据官方元数据剔除违规内容，或者直接迁移到新版，避免潜在的法律风险。

不过需要分清的是，洗掉数据索引并不等于彻底解决了下游模型的问题。历史上像 Stability AI 的 Stable Diffusion 乃至 Google 的生成模型都曾使用过旧版数据，模型权重里学到的特征无法通过重新发布数据集来撤回，此前 Runway 已经从 Hugging Face 下架了 Stable Diffusion 1.5。

此外，LAION 官方强调该数据集仅限学术研究用途，不得用于商业目的。对商业团队来说，直接拿它来训练商用底模依然存在授权和数据来源争议，更稳妥的做法仍是采用自建或合规授权的数据管线。