EleutherAI 釋出 8TB 開源資料集：全靠授權與公有領域文本訓練

The Common Pile v0.1 是一個容量達 8TB 的開源大語言模型訓練資料集。如果你正在尋找一個完全不用擔心版權糾紛、可以直接用來預訓練基礎模型的資料來源，這就是目前規模最大的合規選擇之一。

該資料集由 AI 研究機構 EleutherAI 聯合 Hugging Face、Poolside、多倫多大學等多家學術機構與創業團隊共同打造，整個製作和清洗週期耗時約兩年。

資料都是從哪裡來的

團隊在法律專家的諮詢下篩選資料來源，確保所有內容均來自公有領域或已獲得許可的文本。其中一個核心來源是美國國會圖書館和 Internet Archive 數字化的 30 萬本公有領域圖書。

除了公開圖書，團隊還使用 OpenAI 開源的語音轉文字模型 Whisper，把大批合規音訊內容轉錄成了可供訓練的文本。

EleutherAI 過去曾釋出過包含版權爭議資料的 The Pile 資料集，引發過不少法律糾紛。這次的 Common Pile v0.1 則完全轉向合規路線，試圖徹底解決訓練資料的版權隱患。

用它練出的模型效果如何

為了證明純合規資料也能練出好模型，團隊只用了 Common Pile v0.1 的一部分資料，訓練了兩個 70 億引數（7B）的模型：Comma v0.1-1T 和 Comma v0.1-2T。

在程式碼生成、影像理解和數學等標準基準測試中，這兩個 Comma 模型的表現打平了 Meta 的初代開源模型 Llama 7B。

EleutherAI 執行總監 Stella Biderman 指出，業界普遍認為只有未經許可的侵權資料才能撐起模型效能，這種說法並不成立。隨著開源許可和公有領域資料繼續增加，純合規訓練出來的模型質量還會繼續上升。

怎麼獲取和上手

目前 The Common Pile v0.1 資料集以及 Comma 模型的權重已經全部公開，開發者可以直接在 Hugging Face 和 GitHub 上下載使用。EleutherAI 也承諾，後續會和基礎設施夥伴合作，更頻繁地釋出開源合規資料集。

為什麼重要

對所有需要自研模型、但又極度害怕侵權訴訟的團隊和獨立開發者來說，這個專案給出了一個能直接進生產流程的安全起點。你不需要再冒著法律風險去抓取全網灰色資料，也不用從零開始組建清洗團隊。

雖然 7B 模型目前打平的只是初代 Llama，距離最新的頭部模型還有差距，但它戳破了必須靠盜版資料做 AI 的藉口。它向行業證明了一條完全透明、合法可復現的訓練路徑是走得通的。