OpenAI 上線網路爬蟲 GPTBot：為下一代模型抓取資料，支援網站遮蔽

過去大模型到底從網上扒了多少資料，各家公司基本都含糊其辭。現在，OpenAI 決定把這件事擺到檯面上。

OpenAI 最近釋出了一款名為 GPTBot 的網路爬蟲。按照官方的說法，這個專門的抓取工具將在全網收集公開網頁資料，用來改進未來的 AI 模型，幫助模型提升準確度並擴充套件整體能力。

給爬蟲立規矩，也給站長留了個開關

和 Google 或 Bing 用來建立搜尋索引的爬蟲類似，GPTBot 的核心任務也是掃視網際網路內容。但 OpenAI 強調，他們給 GPTBot 設了幾道硬性過濾紅線。

根據官方說明，GPTBot 不會抓取設定了付費牆的內容，也會主動過濾掉已知收集個人身份資訊（PII）的來源，以及任何違反 OpenAI 使用政策的文本。

另外，OpenAI 給網站管理員留了一個主動退出的開關。如果站長不希望自己的內容被拿去訓練模型，可以在伺服器根目錄的 robots.txt 檔案裡新增針對 GPTBot 的 Disallow 指令，徹底阻斷它的抓取。

商標申請先交了，但新模型沒那麼快

這次爬蟲亮相的時機挺微妙。就在三週前，也就是 7 月 18 日，OpenAI 剛剛向美國專利商標局提交了「GPT-5」的商標申請。

申請檔案顯示，這個商標覆蓋的軟體功能非常廣泛，包括 AI 生成的人類語音與文本、音訊轉文字、語音識別以及機器學習自然語言處理等。這難免讓人聯想到，GPTBot 抓回來的資料就是給 GPT-5 準備的。

不過，想用上 GPT-5 的人可能還得等上一陣子。OpenAI 創始人兼 CEO Sam Altman 在 6 月就打過預防針，稱公司距離開始訓練 GPT-5 還遠得很，在正式啟動前必須先做完多項嚴格的安全審計。

更現實的壓力來自監管和法律訴訟。OpenAI 過去的資料獲取方式正在全球面臨越來越嚴密的審視。

6 月，日本個人資訊保護委員會就未經許可收集敏感資料對 OpenAI 發出警告；4 月，義大利曾因涉嫌違反歐盟隱私法而短暫禁運 ChatGPT；到了 6 月底，16 名原告在美國發起集體訴訟，指控 OpenAI 從使用者互動中調取隱私資訊，如果指控屬實，OpenAI 和同為被告的微軟可能面臨違反《計算機欺詐與濫用濫用法案》的法律風險。

為什麼重要

我們認為，OpenAI 推出 GPTBot，本質上是把過去在灰色地帶進行的網頁抓取變成了明面上的規則博弈。

對於站長、媒體和獨立創作者來說，這至少提供了一個明確的防禦機制。你現在可以清清楚楚地在 robots.txt 裡把 GPTBot 關在門外，而不是像以前那樣，連誰在扒自己的內容都不知道。但這裡存在一個明顯的博弈劣勢：OpenAI 採用的是預設抓取、主動排除機制，只要站長不知情或沒改配置，內容就預設被拿走。

對行業而言，這也給其他大模型廠商樹立了抓取規範的標準線。以後誰再偷偷摸摸換馬甲爬資料，在合規性上就會天然低人一等。但也得看到，排除了付費牆和敏感資料後，公開網際網路上還能剩下多少高質量文本，依然是個大問號。

看起來，OpenAI 這一步走得很務實。在面對多國監管警告和集體訴訟的關口，亮出官方爬蟲身份並提供阻斷方式，是它向版權方和監管機構做出的防禦性合規表態。