Google 采纳 IETF 统一标准：写一行 robots.txt 就能拒绝所有 AI 训练

如果你管过一个网站，大概体会过被各种 AI 爬虫轮番轰炸的烦躁。

每冒出来一家新模型，robots.txt 就要多写几行规则。稍微漏掉一家，自家的心血可能第二天就成了别人大模型的训练原料。

Google 宣布采纳 IETF 的 AIPREF 标准。跟在 OpenAI、Anthropic 和 Bing 后面，Google 也决定支持用一套统一标记来管理 AI 训练授权。

一行代码，关上所有大门

按照这项正在推进的草案，网站管理者不再需要逐个封堵各大公司的专用爬虫。

未来只要在 robots.txt 里加上一个共享的策略标识，也就是使用「user-agent: __usage_ai-training」，就能一次性向所有参与该标准的 AI 机构表达拒绝意愿。

Google 已经在其通用爬虫说明页面中更新了这一计划，预计将在 2027 年初正式上线支持。

按照 Google 搜索布道师 John Mueller 的说法，当网站使用了这个统一标识来拒绝训练，且没有专门写明 Google-Extended 时，Google 会自动将其视同为拒绝 Google-Extended。

留了后门，争议也没彻底解决

不过，各家原有的专属规则并不会作废。

Google 依然保留了 Google-Extended 等单独控制手段。这意味着你可以用通用规则防住大多数厂商，但如果想在 Gemini Apps 获得引用展示和点击机会，就必须对 Google 开绿灯。

这项提案在很大程度上受到了监管机构和内容出版商的推动，也与欧盟《人工智能法案》针对通用 AI 模型的实践守则保持了一致。

但标准制定过程并不平静。深度参与该工作组讨论的 Nate Hake 在 X 上透露，IETF 内部目前仍有重大分歧。

比如当前草案实际上豁免了用户主动发起的抓取行为，很多艺术家和创作者对此相当不满，认为这根本防不住利用 AI 批量洗稿的灰产。

为什么重要

对网站站长和内容创作者来说，这肯定是个好消息，但现在还不用着急去改配置文件。Google 要到 2027 年初才正式实装，标准细节也还在拉扯，过早添加起不到实际拦截作用。

巨头们愿意坐下来达成默契，显然不是突然发了善心，而是为了应对欧盟越来越严苛的合规压力，以及出版行业漫天飞舞的版权诉讼。

我们认为 Google 这一步走得相当精明。它表面上响应了行业呼声、拥抱了开放标准，但背地里依然把搜索引流和模型训练死死捆绑在一起。你不给它喂数据，它就不在 Gemini 里给你导流，站长依然处于被动。

更核心的问题在于，robots.txt 从来只防君子不防小人。统一格式虽然降低了管理门槛，但只要行业缺乏硬性的惩罚机制，这种自愿遵守的协议就依然脆弱不堪。