AI企業が「robots.txt」を無視して無断スクレイピング、TollBitが告発
ロイターの報道によると、コンテンツ許諾スタートアップのTollBitは、複数のAI企業が長年守られてきたrobots.txtを無視し、無断で記事をスクレイピングしている実態を明かした。ForbesがPerplexityを告発するなど反発が強まる中、Webサイト側の従来の自衛策が形骸化している。
ロイターの報道によると、コンテンツ許諾スタートアップのTollBitは、複数のAI企業が長年守られてきたrobots.txtを無視し、無断で記事をスクレイピングしている実態を明かした。ForbesがPerplexityを告発するなど反発が強まる中、Webサイト側の従来の自衛策が形骸化している。