EleutherAI、著作権侵害なしの8TB訓練データセット「Common Pile v0.1」を公開

The Common Pile v0.1は、著作権侵害の法的リスクなしに大規模言語モデルをゼロから事前学習できる、8TBのオープンデータセットです。クリーンなデータでモデルを訓練したい開発者にとって、現在入手できる最大級の許諾済み・パブリックドメイン文書集となります。

AI研究組織のEleutherAIが主導し、Hugging FaceやPoolside、トロント大学など複数の研究機関やスタートアップと協力して約2年をかけて構築しました。

データの中身と収集方法

チームは法律の専門家と相談しながらデータソースを選定し、パブリックドメインの文書とライセンス許諾を得たテキストのみに限定しました。中核を成すのは、米国議会図書館およびInternet Archiveによってデジタル化された30万冊のパブリックドメイン書籍です。

さらに、OpenAIのオープンソース音声認識モデルWhisperを活用し、合法的ソースから収集した音声データをテキスト化してデータセットに組み込んでいます。

EleutherAIは過去に著作権保護下のデータを含むThe Pileを公開し、その後の訴訟問題の対象となっていましたが、今回のCommon Pile v0.1はその反省を踏まえた完全なコンプライアンス設計となっています。

実際に学習させたモデルの性能

合法的データだけでも実用的なモデルが作れることを実証するため、チームはCommon Pile v0.1の一部だけを使い、70億パラメータ（7B）の検証モデル「Comma v0.1-1T」と「Comma v0.1-2T」を学習させました。

コーディング、数学、画像理解のベンチマークにおいて、これら2つのモデルはMetaの初代Llama 7Bに匹敵するスコアを記録しました。EleutherAIのエグゼクティブディレクターであるStella Biderman氏は、無許可のテキストを使わなければ高い性能が出ないという一般的な考えは根拠がないと指摘しています。

データセット本体とCommaモデルの重みは、すでにHugging FaceおよびGitHubで一般公開されており、すぐにダウンロードして検証できます。

なぜ重要か

企業のコンプライアンス要件や法的な著作権リスクによって独自の基盤モデル開発をためらっていたチームにとって、即座に実戦投入できる安全な訓練データが手に入った意味は極めて大きいです。

7B規模で初代Llamaと同等という結果は、最新のフロンティアモデルと比べればまだ途上ですが、無断スクレイピングなしではAIが作れないという業界の言い訳を打破しました。オープンソースコミュニティにおける透明で持続可能なモデル開発の確かな第一歩です。