《纽约时报》屏蔽 OpenAI 爬虫：修改 robots.txt 防抓取，正考虑起诉侵权

版权方对大模型公司的防线，正在一道道拉起。

把 GPTBot 关在门外

《纽约时报》已经正式封禁了 OpenAI 的网络爬虫 GPTBot。现在查看该报的 robots.txt 文件，能明确看到对 GPTBot 的拦截设置。

根据网络时光机（Wayback Machine）的记录，这一封禁最早在 8 月 17 日就已经生效。

早在本月初，《纽约时报》就更新了服务条款，明确禁止将其内容用于训练人工智能模型。OpenAI 在本月早些时候才刚推出 GPTBot，转头就吃了个闭门羹。

除了技术层面的拦截，双方在法律层面的交锋也可能一触即发。据 NPR 上周报道，《纽约时报》正考虑就侵犯知识产权对 OpenAI 提起诉讼。

如果诉讼落地，该报将加入声讨 OpenAI 的队伍。7 月，作家 Sarah Silverman 等人因 OpenAI 使用包含大量版权作品的 Books3 数据集提起诉讼；程序员兼律师 Matthew Butterick 也指控其数据抓取行为属于软件盗版。

为什么重要

这意味着头部严肃媒体开始从规则和技术两端，彻底切断 AI 公司的免费数据投喂。

对 OpenAI 来说，如果各大出版商纷纷效仿在 robots.txt 中拦截爬虫，高质量新闻和专业知识的来源将大幅收窄。我们认为，大模型靠公开抓取免费获取优质人类语料的时代正在走向终结。

接下来，AI 公司要么拿出真金白银跟内容方谈判授权，要么就得承担越来越高昂的版权诉讼风险。这场围绕训练数据的博弈才刚刚开打。