Google、AI学習拒否のIETF統一規格を採用へ　robots.txtで一括指定可能に

ウェブサイトを運営している人なら、ここ最近のrobots.txtの肥大化に頭を抱えていたはずだ。

新しいAIモデルが登場するたびに専用クローラーの記述を追記しなければならず、指定漏れがあれば自社コンテンツが学習データとして吸収されてしまう状態が続いていた。

GoogleはOpenAI、Anthropic、Bingに続き、IETF（インターネット技術標準化委員会）で策定が進むAI学習制御規格「AIPREF」を自主採用すると発表した。

共通トークンで一括拒否が可能に

この取り組みは、IETFのAIPREFワーキンググループによる草案に基づいている。

サイト運営者は各社のクローラーを個別に指定する代わりに、robots.txt内で「user-agent: __usage_ai-training」という共通のポリシートークンを用いることで、対応する複数社のAI学習を一括制御できるようになる。

Googleはクローラー関連の公式ドキュメントを更新し、2027年初頭にこの共有シグナルをサポートする予定であると明記した。

Googleの検索アドボケイトであるJohn Mueller氏によると、サイトがこの共通トークンで学習を拒否し、Google-Extendedを個別に指定していない場合、GoogleはGoogle-Extendedが拒否されたものとして処理する。

独自設定の存続と残された懸念

ただし、各社固有の制御設定が廃止されるわけではない。

サイト運営者は業界共通のシグナルで全体をブロックしつつ、特定の事業者だけを個別に許可することも可能だ。

Googleは、Google-Extendedを明示的に許可したウェブサイトのみがGemini Appsのグラウンディング対象となり、参照リンクやクリックを獲得できる仕様を残している。

この提案は欧州AI法における汎用AI（GPAI）の実施規範にも沿ったものだが、標準化の道筋にはまだ課題も多い。

ワーキンググループに参加しているNate Hake氏はX上で、現在の草案にはユーザー起因のアクションが除外される問題などがあり、クリエイターの模倣被害を防ぎきれないといった重大な争点がまだ残っていると指摘している。

なぜ重要か

パブリッシャーや個人クリエイターにとって管理負担の軽減は歓迎すべきだが、今すぐrobots.txtを書き換える必要はない。Googleの対応は2027年初頭であり、IETFでの仕様確定もまだ先の話だからだ。

大手AI企業が一足飛びに足並みを揃え始めた背景には、欧州規制当局からの圧力と、世界中で相次ぐパブリッシャーとの著作権摩擦を早期に沈静化させたい意図がある。

私たちは、Googleの立ち回りは非常に抜け目がないとみている。統一規格を支持する姿勢を示して協調性をアピールしつつ、Geminiの検索トラフィックという餌を使って「Google-Extendedだけは許可させる」余地をしっかり確保しているからだ。

また、robots.txt自体が強制力を持たない紳士協定であるという根本的な限界は変わらない。大手以外のクローラーやグレーな収集事業者に対して、この統一シグナルがどこまで実効性を持つかは依然として不透明だ。