Google 推出 Google-Extended：网站可拒绝喂数据给 AI，但保留搜索收录

如果你管着一家网站，过去几个月最头疼的事大概就是：明知道科技巨头在拿自家的原创内容喂 AI，却不敢拔掉 Google 的网线。

因为拔掉网线，意味着你的网站也会在 Google 搜索结果里彻底消失，没有哪个站长敢冒这种失去流量的风险。

Google 终于松口，推出了一个叫做 Google-Extended 的新控制开关。网站运营者现在可以在 robots.txt 文件里加上这个标记，告诉 Google：你可以继续抓取我的页面用于搜索索引，但别拿我的数据去训练 AI 模型。

搜索还要留着，但训练不能白嫖

在此之前，很多内容机构已经开始对 AI 爬虫说不。比如《纽约时报》、CNN、路透社和 Medium，早就通过 robots.txt 屏蔽了 OpenAI 用来抓取 ChatGPT 训练数据的爬虫。

但面对 Google 时，大家的态度就要纠结得多。

Google 在 7 月公开确认过，旗下的聊天机器人 Bard 就是用网上公开抓取的数据训练出来的。由于 Google 以往把抓取和索引绑死在一起，网站如果直接封掉 Googlebot，等于直接放弃了搜索流量。

有些媒体拿它没办法，只能先走法律手段。例如《纽约时报》就曾悄悄更新服务条款，明确禁止科技公司把自家内容用于 AI 训练，但技术层面上一直缺乏一个只防训练、不防搜索的硬手段。

藏在 robots.txt 里的刹车片

这次上线的 Google-Extended，本质上就是专门针对 AI 训练的一道刹车片。

Google 表示，网站站长可以通过它来管理自家内容是否用于改进 Bard 以及 Vertex AI 的生成式 API。

具体的用法还是那个大家最熟悉的 robots.txt 文件。站长只需要加上对应的规则，爬虫就会在维持正常搜索索引的前提下，跳过 AI 训练相关的数据收集。

Google 还补充说，随着 AI 应用不断变多，他们会继续探索更多针对网站发布者的机器可读控制方式，后续还会公布更多进展。

为什么重要

对于内容创作者和中小型站长来说，这个开关解决了长期以来的一个死穴。

以前站长们面临的是非黑即白的二选一：要么乖乖当免费饲料，要么承担从互联网流量入口蒸发的代价。现在大家终于可以在不损失搜索排名的前提下，关上通往 Google AI 训练库的大门，我们建议所有看重原创版权的网站立即去更新 robots.txt。

从行业博弈来看，这是平台方在内容版权诉讼压力下的妥协。在 OpenAI 遭遇多家媒体集体封杀后，Google 看起来试图抢先树立一个守规矩、给选择的形象，避免引火烧身。

但这里的隐患依然很明显。Google 只给了一个声明式的控制开关，遵守与否完全仰仗平台自觉，缺乏第三方验证机制。更重要的是，在过去十几年里已经被洗过无数遍的历史公开数据，这个开关根本管不着，它防得住未来，却追不回过去。