ウィキメディアの帯域消費が50％急増、AI学習クローラーによる無差別収集が原因

Wikipediaのサーバーは本来、歴史的な大事件などで急増する人間のアクセスを想定して作られています。しかし現在、そのインフラを圧迫しているのは知識を求める人間ではなく、AI学習のためにデータを貪るボットでした。

ウィキメディア財団は、画像や動画、音声などを集めたオープンリポジトリ「ウィキメディア・コモンズ」において、マルチメディアのダウンロード帯域消費量が2024年1月以降で50％も急増したと発表しました。

閲覧数は3割でも、高負荷アクセスの65％を占める理由

ウィキメディアが公表した数字の中で最も深刻なのは、アクセス全体の割合とインフラへの負荷の落差です。

クローラーボットによるページ閲覧数は全体の35％程度にとどまります。ところが、データセンターの資源を最も消費する高コストなトラフィックに絞ると、実に65％近くをボットが占めていました。

この不均衡の原因は、人間とAIの行動パターンの違いにあります。人間の読者は特定の人気トピックにアクセスするため、データは手元のキャッシュから素早く返せます。

一方のボットは、学習データを集めるために膨大なページを一括で読み込み、普段誰も見ないような不人気なファイルまで手当たり次第に収集します。

キャッシュにないデータは、ウィキメディアの中核データセンターまで直接アクセスして取りに行く必要があります。これがサーバーコストを跳ね上げ、通常利用者のアクセスを守るためにSREチームがボット遮断に追われる原因になっています。

robots.txtの形骸化と広がる悲鳴

この問題はウィキメディアだけに留まりません。オープンなウェブ全体がAIクローラーの猛烈なスクレイピングに晒されています。

オープンソース支持者のDrew DeVault氏は先月、AIボットがアクセス拒否を示す「robots.txt」を平然と無視している実態を訴えました。

また著名エンジニアのGergely Orosz氏も先週、Metaなどの大手企業によるクローラーが自身のプロジェクトの帯域を跳ね上げさせたと不満を漏らしています。

対抗策としてCloudflareがAI生成コンテンツでボットを迷子にさせる「AI Labyrinth」を立ち上げるなど、現場での防衛戦が続いていますが、依然としていたちごっこの状態です。

なぜ重要か

営利企業が巨額の利益を生むAIモデルを作るために、寄付で運営される非営利団体のインフラに莫大な負荷とコストを押し付けている現状は、極めて不公平だと考えられます。

ウィキメディア・コモンズはパブリックドメインやオープンライセンスの貴重な宝庫ですが、ボットによる乱獲がこのまま続けば、クラウド費用がさらに膨らみ、慈善事業としての持続可能性が脅かされます。

このままでは多くのウェブサイトが防衛のためにログイン必須化やペイウォール、過度な認証を導入せざるを得なくなります。

それは誰でも自由にアクセスできるというオープンインターネットの崩壊を意味します。AI開発企業は、自らの学習データ供給源を自らの強欲さで破壊してしまう前に、クローラーのマナーやインフラコストの負担について真剣に向き合うべき時期に来ています。