Cloudflare CEO、AI要約の参照元リンクを誰も踏まないと指摘：流入数は激減

生成AIを開発する企業は、チャットボットが回答の中にWebサイトへのリンクを表示していることを強調しがちです。コンテンツを利用する代わりに、元のサイトへ読者を送り返しているという建前です。

しかし、CloudflareのCEOであるMatthew Prince氏がAxiosに明かした実態は、その建前を粉々に打ち砕くものでした。ユーザーはリンクをまったくクリックしておらず、パブリッシャーへの流入トラフィックは激減しています。

1人の訪問者を連れてくるのに6万ページをクロール

Prince氏が提示した数字は衝撃的です。10年前のGoogleは、2ページをクロールするごとに1人の訪問者をWebサイトへ送っていました。これが6カ月前には6ページに1人となり、現在では18ページに1人まで悪化しています。

しかし、AI企業がもたらす数字の落ち込みはそれどころではありません。

OpenAIの場合、6カ月前は250ページをクロールして1人の訪問者を送っていましたが、現在では1500ページをクロールしてようやく1人です。

Anthropicはさらに極端です。6カ月前は6000ページに1人だったものが、現在では実に60000ページをクロールして、たった1人の訪問者を送るという比率にまで落ち込んでいます。

ユーザーはここ数カ月でAIチャットボットの要約を強く信頼するようになり、あえて元のリンクを踏んで深掘りしなくなりました。ページビューと広告収入で生計を立てているメディアにとって、これは死活問題です。

無視するクローラーには「AIの迷宮」を

パブリッシャー側の怒りに拍車をかけているのが、AI企業の不作法さです。2024年には複数のメディアが報じたように、AI企業はサイト側のrobots.txtファイルや「クロール禁止」の指示を無視して勝手に学習データを収集してきました。

Prince氏によると、Cloudflareはクロール拒否指示を無視するボットを強制的に遮断する新しいツールの開発を進めています。

同社は以前からスクレイピング対策を模索しており、今年3月には「AI Labyrinth（AI迷宮）」を正式に発表しました。

この機能は、クロール拒否を無視したボットに対して、AIが生成した架空のWebページを無限に踏ませる仕組みです。本物らしく見える無意味なページを巡回させ続けることで、クローラーの計算資源と時間を浪費させます。

Prince氏は、自社が日常的に国家レベルのサイバー攻撃と戦っていることを引き合いに出し、「パロアルトにいる一握りのオタク企業を止められないわけがない」と言い放ちました。

なぜ重要か

このデータは、AI企業が掲げてきた「引用リンクによるトラフィック還元」という言い訳が、もはや実態を伴っていないことを証明しています。

6万ページ消費されて1クリックしか戻ってこないのなら、Webサイトを無償で開放する経済的合理性は完全に崩壊しています。Webメディアや個人クリエイターは、従来のPV依存の広告モデルから脱却し、会員制コミュニティや有料課金への移行、あるいはクローラーの完全遮断を真剣に検討すべき段階に来ています。

Cloudflareの対抗策は非常に合理的かつ実戦的です。相手の良心やルール遵守に期待するのをやめ、インフラ層で偽コンテンツを食わせて相手のリソースを削るというアプローチは、防御側として極めて手堅い手筋に見えます。今後はこうした技術的障壁によって、AI企業側が対価を払って正規のコンテンツライセンス契約を結ばざるを得ない流れが加速していくと考えられます。