LAION, 아동 성착취물 의심 링크 삭제한 새 데이터셋 공개

Re-LAION-5B는 Stable Diffusion 등 대규모 멀티모달 모델 학습에 쓰였던 LAION-5B를 전면 정제해 다시 출시한 데이터셋입니다.

오픈소스 이미지 생성 모델을 연구하거나 대규모 비전 모델을 사전 학습하는 연구진이라면, 법적·윤리적 위험 요소를 털어내고 활용할 수 있는 핵심 데이터 파이프라인입니다.

무엇이 필터링되었나

LAION은 원본 이미지를 직접 저장하지 않습니다. Common Crawl에서 수집한 웹페이지의 이미지 링크 URL과 대체 텍스트(alt text)를 묶은 인덱스 데이터입니다.

2023년 12월 스탠퍼드 인터넷 관측소(SIO)는 기존 LAION-5B 내에 아동 성착취물(CSAM) 관련 링크가 최소 1,679건 포함되어 있다는 보고서를 발표했고, LAION은 즉각 데이터셋 배포를 중단했습니다.

이번 정제 작업에는 영국 사설 감시단체 인터넷 워치 파운데이션(IWF), 휴먼 라이츠 워치, 캐나다 아동보호센터, 그리고 스탠퍼드 연구진이 참여했습니다.

협력 기관들이 제공한 URL 목록과 이미지 해시값을 대조해 총 2,236개의 불법 의심 링크를 삭제했습니다. 여기에는 스탠퍼드 보고서가 지적했던 1,008개 링크가 모두 포함되어 있습니다.

데이터셋 구성과 활용 방법

Re-LAION-5B는 약 55억~58억 개의 텍스트-이미지 쌍으로 이루어져 있으며, Apache 2.0 라이선스로 배포됩니다.

데이터셋은 목적에 맞게 두 가지 버전으로 제공됩니다. 의심스러운 아동 성착취물 링크만 제거한 'Re-LAION-5B Research'와, 성인용 NSFW 콘텐츠까지 추가로 걸러낸 'Re-LAION-5B Research-Safe'입니다.

기존 LAION-5B를 이미 수십 테라바이트 규모로 로컬에 내려받아 보관 중인 연구팀이라면 전체 데이터를 다시 받을 필요가 없습니다. LAION이 배포한 메타데이터 필터 목록을 적용해 기존 저장소에서 해당 항목만 삭제하면 됩니다.

현재 LAION 공식 프로젝트 페이지를 통해 메타데이터 다운로드가 가능합니다.

왜 중요한가

멀티모달과 생성형 AI를 연구하는 학계 및 오픈소스 연구진에게는 규제 리스크를 최소화한 필수 대체재입니다. 기존 LAION-5B 원본을 파이프라인에 두고 있는 조직이라면 지체 없이 새 메타데이터를 적용해 로컬 데이터를 정제해야 합니다.

다만 메타데이터 링크를 삭제했다고 해서 이미 학습된 모델 가중치에 남은 영향까지 사라지는 것은 아닙니다. 실제로 Runway는 최근 Hugging Face에서 Stable Diffusion 1.5 모델 가중치를 내렸습니다.

또한 LAION은 이번 데이터셋이 연구용이며 상업적 용도가 아니라는 점을 분명히 하고 있습니다. 상용 AI 서비스를 개발하는 기업이라면 웹 스크래핑 데이터셋 대신 저작권과 라이선스가 검증된 데이터 파이프라인을 구축하는 편이 안전합니다.