TollBit 曝光行業亂象：多家 AI 公司繞過 robots.txt 強行抓取網站
據路透社報道，內容授權初創公司 TollBit 發現，多家 AI 公司正公然無視通行的 robots.txt 協議，未經許可強行抓取出版商內容用於訓練與生成摘要。此前 Forbes 也曾指控 Perplexity 抄襲其調查報道。這意味著網站長期依賴的防爬規則正形同虛設。
據路透社報道，內容授權初創公司 TollBit 發現，多家 AI 公司正公然無視通行的 robots.txt 協議，未經許可強行抓取出版商內容用於訓練與生成摘要。此前 Forbes 也曾指控 Perplexity 抄襲其調查報道。這意味著網站長期依賴的防爬規則正形同虛設。