AI企業が「robots.txt」を無視して無断スクレイピング、TollBitが告発

過去30年間にわたり、インターネットはある一つの「紳士協定」によって成り立ってきました。

ウェブサイトのトップディレクトリに「robots.txt」というテキストファイルを置き、巡回してほしくない場所を指定すれば、検索エンジンのクローラーはそれに従って引き返していました。

しかし、生成AIの急速な普及によって、この暗黙のルールが崩れ去ろうとしています。

紳士協定を無視するAIエージェント

ロイターの報道によると、コンテンツのライセンス仲介を手がける新興企業TollBitが、複数のAI企業がrobots.txtを回避してウェブサイトから無断でデータを収集しているとパブリッシャー向け文書で警告しました。

TollBitの分析によると、これは単一の企業の行為ではなく、複数のAIエージェントがrobots.txtによるブロックを意図的にすり抜けてコンテンツを取得するパターンが広く見られるといいます。

この問題はすでに業界内で摩擦を生んでいます。米誌Forbesは最近、AI検索サービスPerplexityが同誌の独自スクープ記事を適切な引用表記や許可なしにAI要約に流用したと非難しました。Perplexityはこの指摘に対してコメントしていません。

robots.txtプロトコルは1990年代半ばに作られたもので、もともとはクローラーのアクセス過多によってサーバーがダウンするのを防ぐ目的でした。法的拘束力はなく、業界の慣習的な敬意によって守られてきたにすぎません。

パブリッシャーが直面するジレンマ

現在、メディア各社は極めて厳しい板挟み状態に陥っています。

Googleなどのサービスで自社コンテンツがAI要約に使われるのを防ぐためにrobots.txtで遮断しようとすると、通常の検索結果での露出まで失われ、アクセス数が激減するリスクがあります。

その一方で、AI企業側がrobots.txtを無視してスクレイピングを強行するのであれば、メディア側はトラフィックを失うだけで何一つ自衛できていないことになります。

なお、この実態を報告したTollBit自身も、メディアとAI企業の間に立って有償ライセンス契約を結ばせるビジネスを展開しており、5月時点で50のサイトが同社サービスを利用していると主張しています。

一方でAI開発企業側の多くは、有料の会員限定エリアではなく一般公開されているウェブページであれば、無料でデータを取得して学習に利用しても現行法には違反しないと主張しています。

なぜ重要か

私たちは、この問題が単なる規約違反の話にとどまらず、これまでの「オープンウェブ」の基盤が根底から揺らいでいる証拠だと考えています。

これまでメディアがクローラーを受け入れてきたのは、引き換えに検索エンジンから読者の流入が得られるという明白なメリットがあったからです。しかし、AIが回答だけを提示してトラフィックを奪うようになり、その上拒否の意思表示であるrobots.txtまで無視されるとなれば、コンテンツ制作者が受ける恩恵はゼロになります。

今後は、robots.txtのような自主規制に頼るのではなく、より強力なファイアウォールによるアクセス制限や、ログインを必須とする完全な有料壁への移行が急速に進むとみられます。

AI各社が目先のデータ欲しさに協定を無視する行為は、短期的にはモデルの性能を支えるかもしれませんが、長期的には良質な一次情報がウェブから姿を消すことになり、自分たちの首を絞める結果になるのではないでしょうか。