Anthropicのクローラー「ClaudeBot」、iFixitを24時間で100万回近くアクセス　利用規約無視と批判

Claudeに修理情報サイトiFixitのデータをAI学習に使ってよいか尋ねると、おそらく規約違反だと丁寧に答えるはずです。

しかし、Anthropicが運用するデータ収集ボットはそのルールを気にしていないようでした。

iFixitの最高経営責任者Kyle Wiens氏は、Anthropicのウェブクローラー「ClaudeBot」が同社のサーバーに対してわずか24時間のあいだに約100万回ものアクセスを仕掛けてきたと明かしました。この行為は、iFixitが定める利用規約に反する可能性があると波紋を呼んでいます。

鳴り響くアラートと荒れるサーバー

Wiens氏は自身のXアカウントで、Claude自身がiFixitのコンテンツ利用を禁止されていると認めるスクリーンショットを公開し、無断でデータを利用しただけでなくインフラ運用リソースを浪費させたと批判しました。

Wiens氏がThe Vergeに語ったところによると、iFixitは巨大なトラフィックを扱う大手サイトでありボットへの対処には慣れているものの、今回のクロール頻度は異常で、運用チームのアラートが一斉に鳴動したといいます。

iFixitの規約では、書面による許可なく機械学習やAIモデルのトレーニングにサイト内データを使用することを禁じています。しかしAnthropic側は取材に対し、クローラーの停止はrobots.txtの設定でのみ対応可能だとするFAQページを提示するにとどまりました。

その後、iFixitがrobots.txtにアクセス間隔を指定する記述を追加したところ、ログ上では負荷が収まったとのことです。Anthropicの広報担当Jennifer Martinez氏も、robots.txtの指示に従ってクロールを停止したと説明しています。

被害はiFixitだけではない

同様の被害を訴えているのはiFixitだけではありません。ドキュメント共有プラットフォームRead the Docsの共同創業者Eric Holscher氏や、Freelancer.comの最高経営責任者Matt Barrie氏も、自社サイトがClaudeBotの過激なスクレイピングに晒されたと証言しています。

さらに今年4月には、Linux Mintの公式フォーラムがダウンした原因がClaudeBotの負荷にあったと報告されており、Reddit上でも数カ月前から同様の苦情が上がっていました。

OpenAIを含む多くのAI企業もrobots.txtによるオプトアウトを採用していますが、この仕組みはコンテンツの柔軟な許諾設定には向いていません。一部のAI企業がrobots.txtすら無視しているとされる中、サイト運営者が防衛策として取りうる手段は極めて限られています。

なぜ重要か

ウェブサイトを運営するエンジニアや企業にとって、法的な利用規約を設けるだけではAI企業のクローラーを防げないという厳しい現実が浮き彫りになりました。自社のサーバーを保護し、無断でのデータ学習を避けるためには、今すぐrobots.txtの記述を見直す必要があります。

業界全体で見れば、高品質な学習データを求める競争が過熱し、他社のインフラを麻痺させるレベルにまで達していることを物語っています。

私たちは、AIの安全性や倫理を掲げてきたAnthropicが、このような強引なクローラー運用を放置していた点に危うさを感じます。チャット上では優等生を演じながら、裏ではrobots.txtがなければ規約を無視して踏み荒らすという姿勢は、誠実とは言えません。こうした振る舞いが続けば、多くの優良サイトが門を閉ざし、オープンなウェブの衰退を早める結果になりそうです。