EleutherAI, 8TB 규모 합법·공용 텍스트 AI 훈련 데이터셋 공개

The Common Pile v0.1은 저작권 침해 우려 없이 대규모 언어 모델을 처음부터 사전 훈련할 수 있는 8TB 규모의 오픈소스 데이터셋입니다. 라이선스 허가를 받았거나 퍼블릭 도메인에 속한 텍스트로만 구성된 데이터셋 중에서는 현재 가장 큰 규모를 자랑합니다.

AI 연구 단체 EleutherAI가 주도하고 Hugging Face, Poolside, 토론토 대학교 등 다수의 학술 및 업계 파트너가 협력해 약 2년에 걸쳐 완성했습니다.

데이터 구축 방식과 출처

연구진은 법률 전문가들의 자문을 거쳐 출처를 엄격하게 제한했습니다. 미국 의회도서관과 인터넷 아카이브(Internet Archive)가 디지털화한 퍼블릭 도메인 도서 30만 권이 핵심 데이터로 포함되었습니다.

텍스트 자료 외에도 OpenAI의 오픈소스 음성 인식 모델인 Whisper를 활용해 합법적인 오디오 자료를 텍스트로 전사하여 훈련 데이터에 반영했습니다.

과거 EleutherAI가 공개했던 The Pile 데이터셋은 무단 수집된 저작권 자료가 포함되어 여러 소송의 원인이 되었는데, 이번 Common Pile v0.1은 이러한 법적 위험을 원천 차단하기 위해 기획되었습니다.

검증 모델 성능과 벤치마크 결과

합법 데이터만으로도 경쟁력 있는 모델을 만들 수 있음을 증명하기 위해, 연구진은 전체 데이터의 일부만을 사용해 70억 파라미터(7B) 크기의 모델인 Comma v0.1-1T와 Comma v0.1-2T를 훈련했습니다.

코딩, 수학, 이미지 이해 벤치마크에서 두 모델은 Meta의 초기 오픈 모델인 Llama 1세대 7B와 대등한 성능을 기록했습니다. EleutherAI의 총괄 디렉터 Stella Biderman은 무단 스크래핑 데이터가 모델 성능을 좌우한다는 통념은 근거가 없다고 강조했습니다.

현재 The Common Pile v0.1 데이터셋과 Comma 모델 가중치는 Hugging Face와 GitHub에서 바로 내려받을 수 있습니다.

왜 중요한가

저작권 리스크 때문에 자체 파운데이션 모델 개발을 주저하던 엔터프라이즈 팀이나 독립 개발자에게 법적으로 완벽히 검증된 출발점을 제공합니다. 값비싼 콘텐츠 라이선스 계약을 맺거나 위험한 웹 크롤링을 감수할 필요가 없어졌습니다.

7B 크기에서 초기 Llama 수준에 도달한 것은 최신 플래그십 모델에 비하면 시작 단계지만, AI 학습을 위해 무단 저작권 침해가 불가피하다는 업계의 핑계를 정면으로 반박했다는 점에서 오픈소스 생태계에 큰 이정표가 됩니다.