CloudflareがAI Labyrinthを発表：AI迷宮で悪質クローラーを翻弄

無断でWebサイトのデータを学習用に吸い上げるAIクローラーに対し、これまでの防御策はアクセス遮断や403エラーを返すのが一般的でした。しかし遮断されたスクレイパーは、IPアドレスやリクエストヘッダーを変えてすぐに舞い戻ってくるため、終わりのないいたちごっこが続いていました。

Cloudflareが打ち出した対抗策は、遮断ではなく「AIで作った迷宮に閉じ込める」という力技です。

Cloudflareは3月19日、ルールを守らないAIクローラーをAI生成ページへ誘導してリソースを浪費させる新機能「AI Labyrinth」を発表しました。設定画面のトグルをオンにするだけで動作し、無料プランを含むすべてのユーザーが即座に利用可能です。

同社の発表によると、現在Cloudflareのネットワーク上を飛び交うAIクローラーのリクエストは1日あたり500億件を超え、ネットワーク全体の全リクエストの約1%に達しているといいます。

相手の計算資源を削る無限ループの罠

AI Labyrinthの狙いは、生成AIを防御兵器として使う点にあります。

不審なクローラーを検知すると、CloudflareはWebページ内に人間の目には見えない隠しリンクを自動で挿入します。一般の閲覧者には表示されず、検索エンジンのインデックスも阻害しないよう制御されていますが、HTMLを機械的に解析するボットはこのリンクを踏んでしまいます。

リンク先で待ち受けているのは、Workers AIとオープンソースモデルであらかじめ生成され、高速化のためにR2ストレージへ保存されたWebページ群です。ネット上にデマを撒き散らさないよう、内容は科学的事実など本物の情報で構成されていますが、標的となったWebサイトのデータとは一切関係がありません。

クローラーは価値のないAI生成テキストを次々と巡回し、モデル学習に役立たない偽のデータ収集のために高価なGPUや帯域を浪費することになります。

次世代ハニーポットとして機能

この迷宮は、不審なボットを炙り出すハニーポットとしても機能します。

意味の通じないAI生成コンテンツのリンクを何階層も深く辿っていく本物の人間はいません。そのため、迷宮に深入りしたアクセスは即座に悪質なボットと断定できます。

Cloudflareはその挙動や指紋情報を抽出し、自身の機械学習検出モデルに自動で反映させます。1つのサイトが狙われるたびに、ネットワーク全体の防御網が強化される仕組みです。今後は迷宮ページの構造を、元のWebサイトのデザインにより近づけて見分けにくくしていく方針です。

なぜ重要か

個人開発者や中小サイト運営者にとって、追加コストなしでAIスクレイピングに対抗できる実用的な手段が登場した意味は大きいです。無料枠のアカウントでもスイッチ1つで導入でき、メンテナンスの手間もかかりません。

業界全体で見れば、ボット対策が「アクセス拒否」から「相手に経済的損失を与える持久戦」へと移行したことを示しています。攻撃側のスクレイピングコストが低すぎたのに対し、防衛側が低コストな生成AIで相手の計算リソースを空回りさせる戦術は極めて合理的です。

もっとも、この優位性がいつまで続くかは未知数です。クローラー側が進化し、コンテンツの文脈のズレを瞬時に判定して撤退する自律型エージェントが登場すれば、迷宮を見破られるリスクはあります。それでも、攻撃側の武器であった生成AIを逆手に取り、相手の懐を痛めつける防御策を投じた点は見事な一手と言えます。