Cloudflare、AIクローラーの完全遮断やリクエストごとの課金設定を可能に

これまで AI 企業はウェブ上のあらゆるコンテンツを自由に収集してきましたが、サイト運営者にはほとんどトラフィックが戻ってきませんでした。

世界中の通信を仲介する Cloudflare が、ついにそのクローラーに対して料金所を設ける動きに出ました。

Cloudflare は火曜日、自社サービスを利用するウェブサイトに対し、AI ボットのクローリングを完全に遮断するか、リクエストごとに料金を請求できる新機能を追加すると発表しました。

共同創業者兼 CEO の Matthew Prince 氏は、ウェブが AI クローラーによって露天掘りのように搾取されていると指摘しました。

クリエイター側にはアクセス流入がほとんどなく、結果として価値も還元されていないという現状に異を唱えた形です。

3つの選択肢と課金モデル

今回の機能により、サイト運営者には3つの選択肢が与えられます。

1つ目は従来どおり AI ボットの無料アクセスを全面的に許可することです。

2つ目はすべての AI ボットを完全にブロックすることです。

そして3つ目が、サイト全体に対してリクエスト単位の一律料金を設定し、クロールごとに課金する仕組みです。

もし個別に提携を結んでいる AI 企業があれば、特定のクローラーだけを課金対象から外し、無料で通過させることも可能です。

Cloudflare はこれを、オンラインコンテンツの管理方法における技術的な転換点だと位置づけています。

65パーセント急増したボット

この背景には、AI によるスクレイピングの急激な激化があります。

Cloudflare によると、AI モデルのトレーニングを目的としたクロール活動は、過去6か月間で65%も増加しました。

同社は昨年7月にも AI ボットをワンクリックでブロックできる機能を導入しており、すでに100万以上のユーザーがこれを有効にしています。

2023年第3四半期の同社レポートによれば、世界中のインターネットトラフィックの約16%が Cloudflare を経由しています。

Prince 氏は、コンテンツこそが AI エンジンを動かす燃料であり、クリエイターが直接対価を受け取るのは当然だとコメントしています。

なぜ重要か

個人のブロガーや中小メディアにとって、この仕組みは待望の防衛手段であり新たな収益機会になります。

大手メディアのように独自に AI 企業と巨額のライセンス契約を結べない小規模サイトでも、Cloudflare の設定ひとつでデータ販売に踏み切れるからです。

私たちは、Cloudflare が単なるセキュリティ基盤から、ウェブコンテンツの課金決済プラットフォームへと巧みに進化を遂げようとしていると見ています。

一方で懸念されるのは、資金力のある大手 AI 企業だけが最新データを収集し続け、オープンソースや新興スタートアップが排除される二極化が進む点です。

インターネット上の知識を自由に学習できた時代は終わりを告げ、あらゆるテキストに値札がつくフェーズに入ったと言えます。