Cloudflare、AI訓練と検索クローラーの分離を要求　従わなければデフォルト遮断へ

ウェブサイトを運営している人なら、誰もが同じジレンマを抱えています。検索流入を得るためにはGoogleに巡回してもらいたいものの、そのクローラーが集めた記事がAIの学習に使われ、検索結果の要約で完結してサイトへのアクセスが奪われてしまうという問題です。

この状況に対し、Cloudflareが強硬なルール変更を突きつけました。AI関連企業に対し、従来の検索用クローラーと、AIモデルの学習やエージェント用途のクローラーを2026年9月15日までに分離するよう期限を設定しました。

この期日以降、Cloudflareは広告が掲載されているページにおいて、検索とAI用途を兼ねた「混合用途」クローラーをデフォルトで遮断します。この設定は新規契約者や既存顧客の新規サイトだけでなく、すべての既存無料プラン利用者のサイトにも適用されます。

検索巨人に突きつけた分離勧告

サイト運営者の本音は、検索で見つけてもらいたいし、AIサービスで引用されること自体も拒まないが、知的財産を無償で奪われるのは防ぎたいという点にあります。

Cloudflareは世界最大の検索エンジンを名指しに近い形で牽制し、検索での露出を維持したままAI利用だけを拒否することが難しいため、他社の2倍近い情報にアクセスできていると指摘しました。

Google側はこれまで、Google-Extendedを設定すればGeminiやVertex APIなどの学習をオプトアウトでき、通常の検索順位にも影響しないと反論してきました。しかし主力であるGooglebotが集めたデータは、検索内のAI OverviewsやAI Modeにそのまま利用されているのが実情です。

Cloudflareの共同創業者兼CEOのMatthew Prince氏は、インターネット全体のトラフィックでボットなどの非人間による通信が初めて人間を上回ったことを理由に挙げました。この逆転現象は来年起こると予測されていましたが、前倒しで到来したため早急な対応が必要になったと説明しています。

さらに同社のデータによると、AIクローラーによる通信の50パーセント以上が、内容が一切更新されていないページを再取得するために浪費されていることも明らかになりました。

取得課金から「利用価値課金」への転換

Cloudflareは遮断だけでなく、収益化の仕組みも用意しています。これまで展開していたスクレイピングごとに課金する仕組みを発展させ、コンテンツが価値を生み出した際に課金するPay Per Useモデルを導入しました。

初期パートナーとしてCeramic.aiとYou.comが参画しています。運営者が参加を選んだ場合、CeramicのAI検索結果にコンテンツが表示されたり、You.comが高品質記事にアクセスしたりした段階で対価が支払われます。

なぜ重要か

私たちは、Cloudflareが極めて現実的で賢いポジションを取ったと見ています。AIを全面的に敵に回すのではなく、世界中のウェブ通信を握る自社のインフラ力を活かして、コンテンツ制作者とAIプラットフォームの仲介役に名乗りを上げました。

個人のクリエイターやメディア運営者にとって、これは大きな追い風です。これまでは検索から消えることを恐れて泣き寝入りするしかありませんでしたが、広告掲載サイトでデフォルト遮断が効くようになれば、技術知識がなくても巨大IT企業への交渉力を手に入れることができます。

一方で懸念されるのは、Pay Per Useの透明性です。AIエージェントがコンテンツをどの程度利用し、どう価値を生んだかを外部から正確に検証するのは容易ではありません。還元される報酬がわずかな金額にとどまるなら、運営者が遮断を解く動機にはならない可能性があります。

業界全体から見れば、検索クローラーの看板を掲げてAI学習データを無制限にかき集める手法は通用しなくなります。Googleをはじめとするプラットフォームは、クローラー運用の根本的な再設計を迫られることになりそうです。