Google 采纳 IETF 统一标准:写一行 robots.txt 就能拒绝所有 AI 训练
Google 宣布将采纳 IETF AIPREF 标准,加入 OpenAI、Anthropic 和 Bing 的阵营。网站管理者只需在 robots.txt 中加入统一标识,就能一键表达对多家 AI 的训练偏好,告别逐家配置的麻烦。这项支持预计在 2027 年初正式上线。
Google 宣布将采纳 IETF AIPREF 标准,加入 OpenAI、Anthropic 和 Bing 的阵营。网站管理者只需在 robots.txt 中加入统一标识,就能一键表达对多家 AI 的训练偏好,告别逐家配置的麻烦。这项支持预计在 2027 年初正式上线。
Cloudflare 宣布自 2026 年 9 月 15 日起,将默认拦截访问广告页面的「混用型」网络爬虫,要求 AI 公司必须将传统搜索与 AI 训练及智能体抓取彻底分开。最值得关注的是,此举旨在阻止科技巨头以搜索收录为由免费掠夺出版商版权内容,并将按抓取付费升级为按使用价值付费。
Google 推出控制工具 Google-Extended。网站发布者只需在 robots.txt 中加上该标识,就能禁止 Google 用其内容训练 Bard 和 Vertex AI 等模型,同时不影响正常搜索收录。这意味着站长不必再在「被抓去训 AI」和「丢掉搜索流量」之间艰难二选一。