OpenAIがデータパートナーシップを発表、企業や団体と連携し訓練用データを収集

インターネット上で公開されている高品質なテキストデータは、すでにAIモデルによって消費し尽くされつつあります。そこでOpenAIは、次の学習データを手に入れるための新たな手を打ちました。

OpenAIは、企業や政府、非営利団体などの外部組織と提携し、AI学習用のデータセットを共同で構築するプログラム「OpenAI Data Partnerships」を発表しました。

求めるのはネット上にない人間社会の記録

OpenAIが求めているのは、SNSの断片的な投稿ではなく、長文の著作や自然な対話のように人間の意図が深く反映された大規模データです。言語やテーマ、形式は問わず、テキスト、画像、音声、動画といったあらゆるモダリティを対象としています。

提携先がデータの電子化に課題を抱えている場合、OpenAIが自社のAI技術を使って支援する体制も整えています。紙資料やPDFはOCR技術でデジタル化し、音声記録は自動音声認識でテキスト化します。さらに、個人情報や第三者の著作権情報などを除去するクリーニング作業も共同で行うとしています。

同様の取り組みとして、OpenAIはすでにアイスランド政府と連携してGPT-4のアイスランド語処理能力を高めた事例や、非営利団体のFree Law Projectと組んで膨大な法律文書を学習に組み込んだ実績を持っています。

オープンソースと完全非公開の2つの選択肢

今回のパートナーシップには、2つの枠組みが用意されています。

1つ目は、一般公開されるオープンソースアーカイブの作成です。ここで整備されたデータは誰もがAIモデルの学習に利用でき、OpenAI自身もオープンソースモデルの安全な学習に活用する方針です。

2つ目は、機密性を重視したプライベートデータセットの構築です。自社の専門領域に特化したモデルを作りたいものの、データを外部に公開したくない組織に向けて、アクセス権限を厳格に管理しながら専用モデルや微調整モデルの学習に利用する道を用意しています。

なぜ重要か

この動きから読み取れるのは、Webクローリングによるデータ収集がいよいよ限界に達したという現実です。フロンティアモデルを進化させ続けるためには、オフラインに眠る専門的かつ高品質なデータを取り込むしかありません。

専門知識を持つ機関や小規模な言語圏にとって、自前で莫大な計算リソースを用意せずに高度なAIモデルへ自らの領域知識を反映できる点は、大きなメリットと言えます。アーカイブの電子化支援を受けられるのも魅力的です。

一方で、自らの重要資産であるデータを巨大テック企業に差し出すことへの懸念は残ります。プライベート契約であっても、モデルの内部表現に取り込まれた知識の権利関係をどう線引きするかは、今後議論を呼ぶ可能性があります。

今後は計算資源だけでなく、公には手に入らない独自データを誰がより多く囲い込めるかが、AI開発競争の決定的な差になっていくと考えられます。