TollBit 曝光行业乱象：多家 AI 公司绕过 robots.txt 强行抓取网站
据路透社报道，内容授权初创公司 TollBit 发现，多家 AI 公司正公然无视通行的 robots.txt 协议，未经许可强行抓取出版商内容用于训练与生成摘要。此前 Forbes 也曾指控 Perplexity 抄袭其调查报道。这意味着网站长期依赖的防爬规则正形同虚设。
据路透社报道，内容授权初创公司 TollBit 发现，多家 AI 公司正公然无视通行的 robots.txt 协议，未经许可强行抓取出版商内容用于训练与生成摘要。此前 Forbes 也曾指控 Perplexity 抄袭其调查报道。这意味着网站长期依赖的防爬规则正形同虚设。