Cloudflare、AIクローラーを一括遮断する新機能を無料提供

自分のブログやWebサイトの記事が、いつの間にか大手AIの学習データとして吸い上げられていた。そんな状況に頭を抱えていたサイト運営者に、強力な味方が現れました。

Cloudflareは7月3日、AIボットやスクレイパー、クローラーを一括で遮断できる「AI Scrapers and Crawlers」機能を発表しました。驚くべきは、これがエンタープライズ向けだけでなく、無料プランを含むすべてのユーザーに即日開放された点です。

設定は簡単で、Cloudflareの管理画面から「Security」の「Bots」セクションを開き、トグルをオンにするだけで完了します。

最大のトラフィック源はByteDance、対策の遅れも浮き彫りに

発表に合わせて、Cloudflareはネットワーク全体におけるAIボットのアクティビティを公開しました。リクエスト数でトップ4を占めたのは、TikTokの親会社であるByteDanceの「Bytespider」、Amazonの「Amazonbot」、Anthropicの「ClaudeBot」、そしてOpenAIの「GPTBot」です。

中でも圧倒的だったのがBytespiderです。リクエスト総数だけでなく、巡回したサイトの広さでも首位となり、Cloudflareが保護するサイト全体の40.40%にアクセスしていました。2位はGPTBotで35.46%、3位のClaudeBotは11.17%と続いています。

一方で、サイト運営者側の防衛はまったく追いついていません。6月にCloudflareを利用する上位100万サイトの約39%がAIボットのアクセスを受けたものの、実際にアクセスを拒否・ブロックしていたサイトはわずか2.98%にとどまりました。

また、従来のrobots.txtによる対策ではGPTBotやGoogleを指定して安心しているケースが多く、活動が活発なBytespiderやClaudeBotの遮断設定が漏れている実態も明らかになりました。

ブラウザの偽装も見破る機械学習モデル

そもそもrobots.txtは、相手がルールを守ることを前提とした紳士協定にすぎません。ボット側がUser-Agentを偽装して一般のブラウザになりすませば、簡単に突破されてしまいます。最近ではPerplexityが一般ユーザーを装ってWebスクレイピングを行っていた疑惑が報じられ、物議を醸しました。

そこでCloudflareは、規約遵守に頼らないアプローチを採っています。毎秒5,700万件以上のトラフィックを処理するグローバルネットワークを活用し、接続元の振る舞いやツールの指紋（フィンガープリント）を機械学習モデルで解析しています。

このモデルではスコアが30未満のアクセスをボットと判定しますが、身元を偽装したAIボットでも大半がスコア9以下と判定され、確実に正体を暴かれたといいます。User-Agentをいくら書き換えても、ネットワークレベルで遮断できる仕組みです。

なぜ重要か

個人開発者や中小メディアにとって、自前のコンテンツを無断でAIに奪われないための自衛手段が、ワンクリックかつ無料で手に入った価値は極めて大きいです。数千万円規模のライセンス契約を結べる大手プラットフォームと違い、一般のクリエイターには打つ手がありませんでしたが、この機能でようやく公平な防御線が敷かれました。

AI業界全体にとっても、ウェブ上のデータをタダで集めて自社モデルを鍛えるフリーランチの時代が終わりつつあることを示しています。ウェブのトラフィックで巨大なシェアを持つCloudflareが一斉遮断を容易にしたことで、高品質な学習データの収集コストは跳ね上がり、正規のライセンス契約を結ばざるを得なくなるはずです。

Cloudflareのこの一手は、クリエイターの不満を味方につけて自社のセキュリティ価値を高める非常にスマートな戦略だと私たちは考えます。一方で、学習データを欲するAI企業側も、今後は住宅用プロキシなどを悪用してさらに人間らしく振る舞う回避策を打ってくるはずで、両者のいたちごっこは今後さらに激化しそうです。