Google 推出 Google-Extended：網站可拒絕喂資料給 AI，但保留搜尋收錄

如果你管著一家網站，過去幾個月最頭疼的事大概就是：明知道科技巨頭在拿自家的原創內容喂 AI，卻不敢拔掉 Google 的網線。

因為拔掉網線，意味著你的網站也會在 Google 搜尋結果裡徹底消失，沒有哪個站長敢冒這種失去流量的風險。

Google 終於鬆口，推出了一個叫做 Google-Extended 的新控制開關。網站運營者現在可以在 robots.txt 檔案里加上這個標記，告訴 Google：你可以繼續抓取我的頁面用於搜尋索引，但別拿我的資料去訓練 AI 模型。

搜尋還要留著，但訓練不能白嫖

在此之前，很多內容機構已經開始對 AI 爬蟲說不。比如《紐約時報》、CNN、路透社和 Medium，早就通過 robots.txt 遮蔽了 OpenAI 用來抓取 ChatGPT 訓練資料的爬蟲。

但面對 Google 時，大家的態度就要糾結得多。

Google 在 7 月公開確認過，旗下的聊天機器人 Bard 就是用網上公開抓取的資料訓練出來的。由於 Google 以往把抓取和索引綁死在一起，網站如果直接封掉 Googlebot，等於直接放棄了搜尋流量。

有些媒體拿它沒辦法，只能先走法律手段。例如《紐約時報》就曾悄悄更新服務條款，明確禁止科技公司把自家內容用於 AI 訓練，但技術層面上一直缺乏一個只防訓練、不防搜尋的硬手段。

藏在 robots.txt 裡的剎車片

這次上線的 Google-Extended，本質上就是專門針對 AI 訓練的一道剎車片。

Google 表示，網站站長可以通過它來管理自家內容是否用於改進 Bard 以及 Vertex AI 的生成式 API。

具體的用法還是那個大家最熟悉的 robots.txt 檔案。站長只需要加上對應的規則，爬蟲就會在維持正常搜尋索引的前提下，跳過 AI 訓練相關的資料收集。

Google 還補充說，隨著 AI 應用不斷變多，他們會繼續探索更多針對網站釋出者的機器可讀控制方式，後續還會公佈更多進展。

為什麼重要

對於內容創作者和中小型站長來說，這個開關解決了長期以來的一個死穴。

以前站長們面臨的是非黑即白的二選一：要麼乖乖當免費飼料，要麼承擔從網際網路流量入口蒸發的代價。現在大家終於可以在不損失搜尋排名的前提下，關上通往 Google AI 訓練庫的大門，我們建議所有看重原創版權的網站立即去更新 robots.txt。

從行業博弈來看，這是平臺方在內容版權訴訟壓力下的妥協。在 OpenAI 遭遇多家媒體集體封殺後，Google 看起來試圖搶先樹立一個守規矩、給選擇的形象，避免引火燒身。

但這裡的隱患依然很明顯。Google 只給了一個宣告式的控制開關，遵守與否完全仰仗平臺自覺，缺乏第三方驗證機制。更重要的是，在過去十幾年裡已經被洗過無數遍的歷史公開資料，這個開關根本管不著，它防得住未來，卻追不回過去。