Google 採納 IETF 統一標準：寫一行 robots.txt 就能拒絕所有 AI 訓練

如果你管過一個網站，大概體會過被各種 AI 爬蟲輪番轟炸的煩躁。

每冒出來一家新模型，robots.txt 就要多寫幾行規則。稍微漏掉一家，自家的心血可能第二天就成了別人大模型的訓練原料。

Google 宣佈採納 IETF 的 AIPREF 標準。跟在 OpenAI、Anthropic 和 Bing 後面，Google 也決定支援用一套統一標記來管理 AI 訓練授權。

一行程式碼，關上所有大門

按照這項正在推進的草案，網站管理者不再需要逐個封堵各大公司的專用爬蟲。

未來只要在 robots.txt 里加上一個共享的策略標識，也就是使用「user-agent: __usage_ai-training」，就能一次性向所有參與該標準的 AI 機構表達拒絕意願。

Google 已經在其通用爬蟲說明頁面中更新了這一計劃，預計將在 2027 年初正式上線支援。

按照 Google 搜尋佈道師 John Mueller 的說法，當網站使用了這個統一標識來拒絕訓練，且沒有專門寫明 Google-Extended 時，Google 會自動將其視同為拒絕 Google-Extended。

留了後門，爭議也沒徹底解決

不過，各家原有的專屬規則並不會作廢。

Google 依然保留了 Google-Extended 等單獨控制手段。這意味著你可以用通用規則防住大多數廠商，但如果想在 Gemini Apps 獲得引用展示和點選機會，就必須對 Google 開綠燈。

這項提案在很大程度上受到了監管機構和內容出版商的推動，也與歐盟《人工智慧法案》針對通用 AI 模型的實踐守則保持了一致。

但標準制定過程並不平靜。深度參與該工作組討論的 Nate Hake 在 X 上透露，IETF 內部目前仍有重大分歧。

比如當前草案實際上豁免了使用者主動發起的抓取行為，很多藝術家和創作者對此相當不滿，認為這根本防不住利用 AI 批次洗稿的灰產。

為什麼重要

對網站站長和內容創作者來說，這肯定是個好訊息，但現在還不用著急去改配置檔案。Google 要到 2027 年初才正式實裝，標準細節也還在拉扯，過早新增起不到實際攔截作用。

巨頭們願意坐下來達成默契，顯然不是突然發了善心，而是為了應對歐盟越來越嚴苛的合規壓力，以及出版行業漫天飛舞的版權訴訟。

我們認為 Google 這一步走得相當精明。它表面上響應了行業呼聲、擁抱了開放標準，但背地裡依然把搜尋引流和模型訓練死死捆綁在一起。你不給它喂資料，它就不在 Gemini 裡給你導流，站長依然處於被動。

更核心的問題在於，robots.txt 從來只防君子不防小人。統一格式雖然降低了管理門檻，但只要行業缺乏硬性的懲罰機制，這種自願遵守的協議就依然脆弱不堪。