Reddit、AIによるデータ収集対策でインターネットアーカイブの巡回を制限

過去のRedditでどんな議論が交わされていたのかを振り返りたいとき、これまではインターネット・アーカイブ（Wayback Machine）を開けば大抵のログが見つかりました。しかし、その手段がほぼ断たれることになりました。

Redditは、Wayback Machineによる同サイトのインデックス登録を大幅にブロックすると発表しました。理由は明白で、AI企業が規約を回避し、Wayback Machineのアーカイブ経由でRedditのデータを大量にスクレイピングしている現場を突き止めたためです。

残されたのはトップページのみ

Redditの広報担当者Tim Rathschmidt氏がThe Vergeに語ったところによると、このアクセス制限は即座に適用され始めます。

今回の制限により、Wayback Machineは今後、個別の投稿ページ、コメント欄、ユーザープロファイルを一切クロールできなくなります。唯一アーカイブが許されるのは「Reddit.com」のトップページのみです。

つまり、ある特定の日にどんな見出しやスレッドが人気を集めていたかという表面的な記録しか残せず、肝心のディスカッションの中身はデジタルアーカイブから完全に消え去ることになります。

Reddit側は、アーカイブが自サイトを保護し、削除された投稿の消去といったユーザーのプライバシーポリシーを遵守できるようになるまでは、ユーザー保護のためにアクセスを制限せざるを得ないと説明しています。一方、Wayback Machineのディレクターを務めるMark Graham氏は、長年の関係があり、現在も協議を継続しているとコメントしています。

金を払わない相手には徹底抗戦

Redditがスクレイピングに対して強硬姿勢を取るのは今に始まったことではありません。ただし、それは「対価を支払わない相手」に限られます。

Redditは昨年初めにGoogleと検索およびAI学習データに関する大規模な契約を交わし、OpenAIとも提携を結びました。その一方で、費用を支払わない大手検索エンジンをブロックし、今年6月には「収集をやめた」と言いながらスクレイピングを続けていたとしてAnthropicを提訴しています。

2023年にサードパーティ製アプリを閉鎖に追い込んだ悪名高いAPI有料化も、AI企業によるデータの無断学習が引き金でした。Redditにとって、人間による膨大な会話ログはAI時代における最大の収益源であり、Googleらが大金を払っている以上、非営利の図書館経由でデータが抜き取られる抜け穴を放置するわけにはいかないのが本音です。

なぜ重要か

今回の決定は、AIの学習データ争奪戦がインターネットの共有財産をいかに破壊しつつあるかを如実に示しています。

一般ユーザーや研究者にとって、この損失は極めて甚大です。Reddit上で交わされた膨大な知見、トラブルの検証記録、あるいは炎上事件のアーカイブなど、過去のネット文化の記録がWayback Machineから永久に失われることを意味します。

ビジネスの観点から見れば、Redditの判断は極めて合理的で抜け目がありません。抜け道を完全に塞ぐことで、小規模なAI開発者に対しても「データを欲しければ金を払え」と迫ることができ、GoogleやOpenAIとの独占的なライセンス価値を一段と高めることができます。

しかし、この動きには大きな欺瞞も感じられます。「ユーザーのプライバシー保護」を表向きの理由に掲げながら、裏では同じデータをメガテックに巨額で売り渡しているからです。プラットフォーム各社が防衛のために殻に閉じこもる結果、開かれたウェブの歴史そのものが私有化され、失われようとしています。