OpenAI 上线网络爬虫 GPTBot：为下一代模型抓取数据，支持网站屏蔽

过去大模型到底从网上扒了多少数据，各家公司基本都含糊其辞。现在，OpenAI 决定把这件事摆到台面上。

OpenAI 最近发布了一款名为 GPTBot 的网络爬虫。按照官方的说法，这个专门的抓取工具将在全网收集公开网页数据，用来改进未来的 AI 模型，帮助模型提升准确度并扩展整体能力。

给爬虫立规矩，也给站长留了个开关

和 Google 或 Bing 用来建立搜索索引的爬虫类似，GPTBot 的核心任务也是扫视互联网内容。但 OpenAI 强调，他们给 GPTBot 设了几道硬性过滤红线。

根据官方说明，GPTBot 不会抓取设置了付费墙的内容，也会主动过滤掉已知收集个人身份信息（PII）的来源，以及任何违反 OpenAI 使用政策的文本。

另外，OpenAI 给网站管理员留了一个主动退出的开关。如果站长不希望自己的内容被拿去训练模型，可以在服务器根目录的 robots.txt 文件里添加针对 GPTBot 的 Disallow 指令，彻底阻断它的抓取。

商标申请先交了，但新模型没那么快

这次爬虫亮相的时机挺微妙。就在三周前，也就是 7 月 18 日，OpenAI 刚刚向美国专利商标局提交了「GPT-5」的商标申请。

申请文件显示，这个商标覆盖的软件功能非常广泛，包括 AI 生成的人类语音与文本、音频转文字、语音识别以及机器学习自然语言处理等。这难免让人联想到，GPTBot 抓回来的数据就是给 GPT-5 准备的。

不过，想用上 GPT-5 的人可能还得等上一阵子。OpenAI 创始人兼 CEO Sam Altman 在 6 月就打过预防针，称公司距离开始训练 GPT-5 还远得很，在正式启动前必须先做完多项严格的安全审计。

更现实的压力来自监管和法律诉讼。OpenAI 过去的数据获取方式正在全球面临越来越严密的审视。

6 月，日本个人信息保护委员会就未经许可收集敏感数据对 OpenAI 发出警告；4 月，意大利曾因涉嫌违反欧盟隐私法而短暂禁运 ChatGPT；到了 6 月底，16 名原告在美国发起集体诉讼，指控 OpenAI 从用户交互中调取隐私信息，如果指控属实，OpenAI 和同为被告的微软可能面临违反《计算机欺诈与滥用滥用法案》的法律风险。

为什么重要

我们认为，OpenAI 推出 GPTBot，本质上是把过去在灰色地带进行的网页抓取变成了明面上的规则博弈。

对于站长、媒体和独立创作者来说，这至少提供了一个明确的防御机制。你现在可以清清楚楚地在 robots.txt 里把 GPTBot 关在门外，而不是像以前那样，连谁在扒自己的内容都不知道。但这里存在一个明显的博弈劣势：OpenAI 采用的是默认抓取、主动排除机制，只要站长不知情或没改配置，内容就默认被拿走。

对行业而言，这也给其他大模型厂商树立了抓取规范的标准线。以后谁再偷偷摸摸换马甲爬数据，在合规性上就会天然低人一等。但也得看到，排除了付费墙和敏感数据后，公开互联网上还能剩下多少高质量文本，依然是个大问号。

看起来，OpenAI 这一步走得很务实。在面对多国监管警告和集体诉讼的关口，亮出官方爬虫身份并提供阻断方式，是它向版权方和监管机构做出的防御性合规表态。