《紐約時報》遮蔽 OpenAI 爬蟲：修改 robots.txt 防抓取，正考慮起訴侵權

版權方對大模型公司的防線，正在一道道拉起。

把 GPTBot 關在門外

《紐約時報》已經正式封禁了 OpenAI 的網路爬蟲 GPTBot。現在檢視該報的 robots.txt 檔案，能明確看到對 GPTBot 的攔截設定。

根據網路時光機（Wayback Machine）的記錄，這一封禁最早在 8 月 17 日就已經生效。

早在本月初，《紐約時報》就更新了服務條款，明確禁止將其內容用於訓練人工智慧模型。OpenAI 在本月早些時候才剛推出 GPTBot，轉頭就吃了個閉門羹。

除了技術層面的攔截，雙方在法律層面的交鋒也可能一觸即發。據 NPR 上週報道，《紐約時報》正考慮就侵犯智慧財產權對 OpenAI 提起訴訟。

如果訴訟落地，該報將加入聲討 OpenAI 的隊伍。7 月，作家 Sarah Silverman 等人因 OpenAI 使用包含大量版權作品的 Books3 資料集提起訴訟；程式設計師兼律師 Matthew Butterick 也指控其資料抓取行為屬於軟體盜版。

為什麼重要

這意味著頭部嚴肅媒體開始從規則和技術兩端，徹底切斷 AI 公司的免費資料投餵。

對 OpenAI 來說，如果各大出版商紛紛效仿在 robots.txt 中攔截爬蟲，高質量新聞和專業知識的來源將大幅收窄。我們認為，大模型靠公開抓取免費獲取優質人類語料的時代正在走向終結。

接下來，AI 公司要麼拿出真金白銀跟內容方談判授權，要麼就得承擔越來越高昂的版權訴訟風險。這場圍繞訓練資料的博弈才剛剛開打。