EleutherAI 发布 8TB 开源数据集：全靠授权与公有领域文本训练

首次发布 2025年6月6日 UTC 17:39传播指数 36

EleutherAI 联合多家机构发布 8TB 训练数据集 The Common Pile v0.1。该数据集耗时两年，完全由授权和公有领域文本构成。同步推出的 7B 模型 Comma 表现媲美 Meta 的初代 Llama，证明不用侵权数据也能练出好模型。

The Common Pile v0.1 是一个容量达 8TB 的开源大语言模型训练数据集。如果你正在寻找一个完全不用担心版权纠纷、可以直接用来预训练基础模型的数据源，这就是目前规模最大的合规选择之一。

该数据集由 AI 研究机构 EleutherAI 联合 Hugging Face、Poolside、多伦多大学等多家学术机构与创业团队共同打造，整个制作和清洗周期耗时约两年。

数据都是从哪里来的

团队在法律专家的咨询下筛选数据源，确保所有内容均来自公有领域或已获得许可的文本。其中一个核心来源是美国国会图书馆和 Internet Archive 数字化的 30 万本公有领域图书。

除了公开图书，团队还使用 OpenAI 开源的语音转文字模型 Whisper，把大批合规音频内容转录成了可供训练的文本。

EleutherAI 过去曾发布过包含版权争议数据的 The Pile 数据集，引发过不少法律纠纷。这次的 Common Pile v0.1 则完全转向合规路线，试图彻底解决训练数据的版权隐患。

为了证明纯合规数据也能练出好模型，团队只用了 Common Pile v0.1 的一部分数据，训练了两个 70 亿参数（7B）的模型：Comma v0.1-1T 和 Comma v0.1-2T。

在代码生成、图像理解和数学等标准基准测试中，这两个 Comma 模型的表现打平了 Meta 的初代开源模型 Llama 7B。

EleutherAI 执行总监 Stella Biderman 指出，业界普遍认为只有未经许可的侵权数据才能撑起模型性能，这种说法并不成立。随着开源许可和公有领域数据继续增加，纯合规训练出来的模型质量还会继续上升。

目前 The Common Pile v0.1 数据集以及 Comma 模型的权重已经全部公开，开发者可以直接在 Hugging Face 和 GitHub 上下载使用。EleutherAI 也承诺，后续会和基础设施伙伴合作，更频繁地发布开源合规数据集。

对所有需要自研模型、但又极度害怕侵权诉讼的团队和独立开发者来说，这个项目给出了一个能直接进生产流程的安全起点。你不需要再冒着法律风险去抓取全网灰色数据，也不用从零开始组建清洗团队。

虽然 7B 模型目前打平的只是初代 Llama，距离最新的头部模型还有差距，但它戳破了必须靠盗版数据做 AI 的借口。它向行业证明了一条完全透明、合法可复现的训练路径是走得通的。