Reddit、未契約の検索エンジンとAIクローラーを遮断　最新結果はGoogleのみに

ネットの検索結果が AI 生成の粗悪なコンテンツで溢れかえるなか、確かな人間の意見を求めて検索語に「Reddit」を付け足す癖がついている人は多いはずです。しかし、その裏ワザは近いうちに Google 以外で使えなくなるかもしれません。

404 Media の報道によると、Reddit はここ数週間で検索エンジンのクローラーに対する規制を急速に強化しました。現在、最新の投稿やコメントを検索結果に表示できる主要検索エンジンは Google だけという異常事態になっています。

有料契約を結ばないエンジンは排除

実際に Bing や DuckDuckGo、Mojeek、Qwant などの独立系検索エンジンで「site:reddit.com」を使って検索しても、過去 1 週間以内の新しい書き込みは一切ヒットしません。DuckDuckGo ではいくつかのリンクが表示されるものの、「サイト側が許可していないため説明を表示できません」というメッセージが出る状態です。

現在も Reddit の検索が機能している例外は有料検索エンジンの Kagi くらいですが、これは同社が検索インデックスの一部を Google から購入しているためです。

この遮断は、Reddit が 7 月 1 日に「robots.txt」ファイルを更新したことで始まりました。Reddit の最高法務責任者である Ben Lee 氏は、契約を結んでいない企業に対してデータを収集すべきではないという明確なシグナルだと説明しています。

これに対し Microsoft の広報担当 Caitlin Roulston 氏は、robots.txt の標準仕様を尊重し、自社の生成 AI モデルにコンテンツを使われたくないというウェブサイトの指示に従い、7 月 1 日の更新以降 Bing によるクローリングを停止したと述べています。

6000 万ドルの AI 契約が引いた境界線

なぜ Google だけが締め出しを免れたのかといえば、同社が Reddit と年間 6000 万ドル規模のデータ提供契約を結び、AI モデルの訓練にコンテンツを利用する権利を確保しているためです。

Reddit の広報担当 Tim Rathschmidt 氏は、Google との提携とは直接関係ないと主張しています。複数の検索エンジンと協議を続けてきたものの、AI 利用を含めたコンテンツの扱いについて実効性のある約束を取り交わせない企業があったため合意に至らなかったと釈明しました。

しかし、検索エンジン Mojeek の CEO である Colin Hayhurst 氏は、Reddit は Google 以外の検索をすべて潰そうとしていると強い不満を口にしています。

Reddit は過去 1 年間、上場に伴う収益化のためにデータ保護の姿勢を強めてきました。サードパーティ製アプリ向け API を大幅に値上げしたのに続き、かつて無料でデータを収集していた Google を脅して契約を結ばせ、今度は契約のない他社を門前払いした形です。

なぜ重要か

一般ユーザーにとって、信頼できる人間の体験談を探すハードルが一気に上がることになります。検索結果が広告や AI 記事で埋もれるなか、「Reddit 検索」は貴重な避難所でした。今回の措置により、その手段が実質的に Google 一社へ縛り付けられることになります。

検索市場全体にとっても悪影響は避けられません。Google の寡占に対する批判が高まるタイミングで、最大級の人間生成コンテンツが Google 独占の武器になってしまいました。潤沢な資金を持たない中小の検索エンジンは、Reddit のような巨額のデータ契約を結べず、競争から脱落させられる恐れがあります。

私たちは、Reddit のこの動きは短期的な収益確保としては巧みである一方、長期的なコミュニティの健全性を損なう危うい賭けだと考えています。ユーザーが善意で書き込んだ公開フォーラムを囲い込み、オープンなウェブから切り離してしまう手法は、巡り巡って新規ユーザーの流入を細らせる原因になりかねません。