ウィキメディアがKaggleでAI用データを公開、スクレイピング防止へ

AIモデルの学習需要が急増する中、Wikipediaは常にスクレイピングの最大の標的となってきました。しかし、過度な自動クローリングはサーバーに莫大な負荷とコストをもたらしています。

こうした事態を受け、Wikipediaを運営するWikimedia Foundation（ウィキメディア財団）は、クローラーを排除するのではなく、最初から使いやすい形で提供するというアプローチに出ました。

同財団はGoogle傘下のデータサイエンスプラットフォームKaggleにおいて、AI開発者向けに最適化されたWikipediaデータセットの提供を開始しました。Webサイトへの直接的な自動スクレイピングを思いとどまらせることが狙いです。

クリーンなJSON形式で即座に学習可能に

このデータセットは4月15日から公開されており、生のHTMLテキストではなく、構造化されたJSON形式で提供されます。

収録されているのは、記事の要約、短い説明文、インフォボックスのキー・バリュー形式のデータ、画像リンク、セクションごとに分割された本文などです。一方で、モデル学習に不要な注釈や参考文献、画像や図表そのものといった非テキスト要素はあらかじめ除外されています。

ライセンスは従来のWikipediaと同様、クリエイティブ・コモンズやGNU Free Documentation License（GFDL）に準拠しており、開発者は自由に共有、改変、再利用が可能です。

Kaggleのパートナーシップリードを務めるBrenda Flynn氏によると、Kaggleにはすでに46万1000件以上の機械学習データセットが存在しますが、ウィキメディア財団のデータほど影響力のあるものは極めて稀だといいます。

現在公開されているのは初期ベータ版で、対応言語は英語とフランス語の2言語です。コミュニティからのフィードバックを受け付けながら改良が進められる予定です。

なぜ重要か

AI開発者や研究者にとって、Webスクレイピングとデータ前処理は最も手間でコストのかかる工程の一つです。公式が事前にクレンジングした構造化JSONを利用できることで、NLPパイプラインのテストやファインチューニングのハードルは劇的に下がります。現時点では英仏の2言語に限られるものの、試す価値は十分にあります。

業界全体にとって、今回の取り組みは生成AI時代のコンテンツ保護において優れたモデルケースとなります。多くのWebメディアやSNSがAI企業に対して訴訟を起こしたりアクセスを遮断したりする中、ウィキメディア財団はトラフィックをKaggleに誘導することで、自社インフラを守りつつオープンな知識共有という理念を貫きました。

このやり方は非常に理にかなっており賢明だと私たちは評価しています。サーバー負荷と帯域コストを効果的に削減できるからです。ただし、リアルタイム性や多言語のデータを求める開発者がスクレイピングを完全にやめるかどうかは未知数であり、今後の運用体制と多言語対応の拡充が鍵になりそうです。