OpenAI、新ウェブクローラー「GPTBot」公開：将来モデルの学習へ

OpenAIが自社のWebクローラー「GPTBot」を正式に公開しました。今後登場する次世代モデルの精度向上や機能拡張を目的に、インターネット上の公開データを収集する専用ツールです。

収集対象とサイト側の拒否方法

GPTBotはGoogleやBingの検索エンジンスパイダーと同様に、公開Webページを巡回してインデックスを作成します。ただし、収集するデータには一定のフィルタリングが適用される方針です。

OpenAIの説明によると、有料のペイウォールで保護されているコンテンツや、個人を特定できる情報を収集していると知られているサイト、同社の利用規約に違反するテキストは除外されます。

Webサイトの管理者は、このクローラーによるデータ収集を拒否できます。サーバー上のrobots.txtファイルにGPTBotを指定したDisallow設定を記述することで、自社サイトへのアクセスを遮断可能です。

GPT-5 商標出願と強まるプライバシーへの逆風

今回のクローラー発表は、OpenAIが米国特許商標庁に「GPT-5」の商標を出願してからわずか3週間後の動きとなりました。7月18日付けの出願書類には、音声やテキストの生成、音声認識、自然言語処理ソフトウェアなどが対象として記載されています。

ただし、次世代モデルの登場が間近に迫っているわけではありません。OpenAIのサム・アルトマンCEOは6月、複数の安全性監査を実施する必要があるため、GPT-5のトレーニング開始には「まだ遠い」と明言しています。

さらに、データ収集をめぐる法的圧力も急速に強まっています。6月には日本の個人情報保護委員会がOpenAIに対して無断での機微情報収集に関する注意喚起を行い、4月にはイタリア当局が欧州のプライバシー規則違反を理由にChatGPTを一時禁止しました。6月下旬には、ユーザーデータへの不正アクセスを理由に16人の原告がOpenAIとマイクロソフトを相手取った集団訴訟を起こしています。

なぜ重要か

GPTBotの公開は、これまで不透明だったAIトレーニングデータの収集を、業界の慣例であるWeb標準に落とし込もうとする試みだと考えられます。

コンテンツホルダーやサイト運営者にとっては、自らの著作物が無断でモデルに学習されるのを防ぐ明確な手段が用意された形です。ただ、オプトアウト方式が採用されているため、サイト側が明示的に拒否設定を行わなければデータは自動的に収集されます。この力関係は依然としてプラットフォーム側に有利です。

AI業界全体にとっても、各国の法規制や集団訴訟が激化するなかで、正規のクローラーを名乗りオプトアウトを提供する姿勢を示すことは不可欠になりつつあります。有料コンテンツを排除した上で、どれほど質の高い公開データを確保できるかが今後の課題になりそうです。