Patreonが方針転換、Cloudflareと連携しAI学習クローラーを直接遮断へ

これまでWebサイトがクローラーを拒否する際は、robots.txtに指示を書くのが業界の紳士協定でした。しかし、AIの学習データ需要が過熱するにつれ、そのルールを平然と無視するボットが急増しています。

クリエイター向けプラットフォームのPatreonは、ついに強硬手段に出ました。同社はインフラ大手のCloudflareと連携し、クリエイターの作品をAI学習用に無断収集するスクレイピングボットを直接遮断し始めたと発表しました。

紳士協定から「強制ブロック」へ

Patreonは2023年にもクローラー対策を導入していましたが、AIボットの手口は年々巧妙化しています。同社はブログで「同意の有無を、スクレイパー側がルールを守るかどうかの善意に委ねるべきではない」と指摘しました。

背景には、プラットフォーム自体の変化もあります。従来、Patreonのコンテンツの大半は有料の会員限定エリアに守られていました。しかし最近、短文投稿機能のQuipsや刷新されたホームフィードなど、露出を高めるための公開機能を追加したことで、ボットに晒されるコンテンツが増えていました。

PatreonがCloudflareの技術を導入してテストを行ったところ、特定のAI訓練用クローラーによるアクセス試行は、週に数千回あったものがゼロにまで激減したといいます。

ただし、すべてのボットを排除するわけではありません。同社のプロダクト責任者であるDrew Rowny氏によると、情報を整理してユーザーをPatreonへと誘導してくれる検索インデックス用ボットについては、引き続きアクセスを許可します。

なぜ重要か

クリエイターにとって、この変更は大きな安心材料になります。作品を無断でAIモデルに学習されるリスクを恐れることなく、Quipsなどの公開機能を使ってファン獲得に集中できるようになるからです。

業界全体で見れば、従来のオープンなWebを支えてきたrobots.txtという性善説の仕組みが、AI時代を迎えて完全に機能不全に陥ったことを象徴しています。今後はCloudflareのようなネットワーク基盤レベルで物理的に防壁を築くのが標準になるはずです。

検索流入を確保するためにインデックスボットを残しつつ、学習用ボットだけを狙い撃ちにするPatreonのアプローチは非常に合理的だと評価できます。ただ、検索とAI学習の両方を同じクローラーで行う大手IT企業も存在するため、どこまで正確に見分け続けられるかは今後の課題になりそうです。