CloudflareがPerplexityを告発、アクセス拒否設定を偽装して巡回か

ウェブサイトの玄関に「立ち入り禁止」の張り紙をしたのに、変装して裏口から忍び込まれたらどう感じるでしょうか。

ネットワークインフラ大手のCloudflareが、急成長中のAI検索スタートアップPerplexityに対して突きつけたのは、まさにそうした告発でした。Cloudflareは月曜日、Perplexityがクローリングを明示的に拒否しているWebサイトに対し、身元を偽装してスクレイピングを強行していたとする調査結果を公表しました。

Chromeに偽装してRobots.txtをすり抜ける手口

発端は、Cloudflareを利用する顧客からの相次ぐ報告でした。Webサイトの管理者がRobots.txtに明確な拒否ルールを記述し、Perplexityの公認ボットを名指しでブロックしていたにもかかわらず、コンテンツの収集が止まりませんでした。

Cloudflareが検証を行ったところ、Perplexityは公式クローラーが遮断されると、身元を隠す挙動に切り替えていたことが判明しました。具体的には、User-AgentをmacOS版Google Chromeに見せかける汎用ブラウザへ偽装し、さらに接続元のネットワーク識別番号であるASN（自律システム番号）を頻繁に切り替えていました。

Cloudflareによれば、機械学習とネットワーク信号を組み合わせた指紋識別技術によりこのクローラーを特定したといいます。この回避行為は数万のドメインに及び、1日あたり数百万件のリクエストが記録されていました。

これに対し、Perplexityの広報担当Jesse Dwyer氏は、Cloudflareの投稿を「単なるセールストークだ」と一蹴しました。TechCrunchへのメール取材で、公開されたスクリーンショットはコンテンツにアクセスされていないことを示していると反論し、その後「名指しされたボットは当社のものですらない」と主張しました。

CloudflareはすでにPerplexityのボットを認証リストから除外しており、新たな遮断技術を展開しています。

繰り返される無断収集の火種

Perplexityがスクレイピングを巡って糾弾されるのは、今回が初めてではありません。昨年もWiredなどの大手メディアからコンテンツの盗用を指摘され、Disrupt 2024カンファレンスでは、同社CEOのAravind Srinivas氏が盗用の定義を問われて即答に詰まる一幕がありました。

一方でCloudflare側も、AIクローラーに対する強硬姿勢を強めています。先月には、パブリッシャーがAIクローラーに対して課金できるマーケットプレイスの開設を発表したばかりです。同社CEOのMatthew Prince氏は、AIによる無秩序なデータ収集がインターネット、とりわけパブリッシャーのビジネスモデルを破壊していると警鐘を鳴らしていました。

なぜ重要か

PerplexityのようなAI検索を日常的に愛用しているユーザーにとって、この問題は「便利さの裏側にある調達リスク」を浮き彫りにしています。サイト側が防御を固めれば、回答の鮮度や根拠となる情報の質はダイレクトに低下します。

私たちは、Perplexityの振る舞いには深刻なリスクが潜んでいると考えます。公式クローラーが拒否されたからといってChromeブラウザに偽装して巡回するのは、Webが長年維持してきた「Robots.txt」という紳士協定への明らかな背信行為です。こうした抜け駆けは、コンテンツ制作者とAI業界との信頼関係を根底から壊しかねません。

業界全体で見れば、この一件はCloudflareに極めて有利に働きます。スクレイピング課金プラットフォームを発表した直後にこの実態を晒したことで、Cloudflareはコンテンツホルダーの「防衛軍」としてのポジションを確立しつつあります。もはや無断でデータを集める時代は終わりを迎えつつあり、AI企業は正当な対価を支払って契約を結ぶか、締め出されるかの二者択一を迫られています。