Google、サイト内容をAI学習から除外できる「Google-Extended」を提供開始

ウェブサイトを運営している人にとって、ここ数か月ずっと頭の痛い問題がありました。自社の記事が AI の学習データとして勝手に吸い上げられていると分かっていても、Google を丸ごとブロックすれば検索結果からも消え去ってしまうため、手出しができなかったのです。

Google は 9 月 28 日、このジレンマを解消するための新ツール「Google-Extended」を発表しました。サイト運営者は検索流入を維持したまま、自社のデータを Google の AI モデル学習に使わせない設定を選べるようになります。

検索には残す、学習には使わせない

設定は、ウェブクローラーの巡回ルールを指定する robots.txt ファイルに Google-Extended の記述を追加する形で行います。

Google は 7 月に、対話型 AI の Bard をウェブ上の公開データで学習させていることを認めていました。今回の新機能を使えば、Googlebot による検索用の巡回とインデックス登録はそのまま続けさせつつ、Bard や Vertex AI の生成 API の改善にデータが使われるのを防ぐことができます。

Google は、AI アプリケーションの広がりに合わせて、ウェブ運営者向けに機械可読な選択肢と制御手段を今後も模索していくとしています。

メディア側の警戒と Google の譲歩

ここ最近、コンテンツホルダー側による AI クローラーの遮断は急速に進んでいました。

The New York Times や CNN、ロイター、Medium といった大手メディアは、OpenAI が ChatGPT の学習用に巡回させているクローラーを相次いでブロックしています。しかし Google に対して同じことをやれば検索トラフィックを失うため、手を出せずにいました。

そのため The New York Times などは利用規約を改定し、コンテンツを AI の学習に使うことを禁止するという法的な対抗措置を取らざるを得なくなっていました。今回のツールは、そうしたメディア側の強い不満を受けたものと言えます。

なぜ重要か

自社メディアや個人ブログを運営している人にとって、これは待ち望んでいた機能です。検索流入を失う恐怖と、コンテンツを無償で吸い取られる屈辱の二者択一からようやく解放されました。自社の著作物を AI に無断利用されたくない運営者は、今すぐ robots.txt を更新する価値があります。

業界全体で見れば、相次ぐ著作権訴訟やメディアからの反発を先回りして抑え込もうとする Google の計算が見えます。OpenAI がメディア各社から一斉に締め出されるなか、自ら選択肢を提供することで、協調的なプラットフォーマーとしての立場をアピールする狙いがあると考えられます。

ただし、これで問題がすべて解決したわけではありません。robots.txt はあくまで宣言に過ぎず、実際に学習から除外されているかを第三者が検証する仕組みはありません。さらに言えば、過去にすでに吸い上げられ、現在のモデルの血肉となってしまった膨大なデータについては何も取り戻せないという課題が残っています。