OpenAI 启动数据合作计划：拉机构建训练集，支持开源与私有

互联网上能公开抓取的高质量网页，差不多快被大模型吃光了。现在，OpenAI 决定换一种方式找粮。

OpenAI 正式推出了数据合作伙伴计划，公开向全球的政府、企业和非营利机构征集数据。他们想要那些还没被公开传到网上的私有数据，用来训练下一代 AI 模型。

想要什么，能帮合作伙伴做什么

OpenAI 盯上的不是网上零碎的短帖子，而是真正能反映人类意图和思考过程的长内容，比如完整的长篇文章或深度对话。

在数据形态上，他们不挑食，文本、图像、音频和视频全部都要，涵盖任何语言和主题。

不少机构手握老旧档案但没有技术整理，OpenAI 表示可以派自家技术上门帮忙。他们可以用光学字符识别技术把纸质文件或 PDF 数字化，也可以用语音识别把录音转成文字，并协助清洗掉敏感信息、个人隐私和第三方版权内容。

在这之前，他们已经做过一些尝试。比如和冰岛政府以及 Miðeind ehf 合作，用整理好的冰岛语数据集强化了 GPT-4 的小语种能力；还拉来了非营利组织 Free Law Project，把大量法律卷宗喂给了模型。

开源共享与私有定制两条腿走路

这次合作分为两种具体的路线。

第一种是建立开源公共档案库。这部分清洗出来的数据会完全对公众开放，任何开发者或研究机构都能拿去训练模型，OpenAI 自己也会用它来探索训练开源模型。

第二种则是私有专属数据集。如果机构拥有极具价值的行业秘密或专有资料，不希望对外公布，但又想让 GPT 模型精通自己的业务，就可以走私有合作路线。OpenAI 承诺会按照合作方要求的敏感度和权限控制来保管这些数据，只用于基础模型、微调或专属定制模型的训练。

为什么重要

我们认为，OpenAI 这次的主动招募，说明大模型训练已经正式进入了深水区。公网上的开源文本存量有限，且充斥着大量低质内容，AI 公司如果还想让模型继续进化，就必须敲开那些沉睡在线下的专业机构大门。

对于拥有专业语料的非营利机构、行业组织或小语种国家来说，这是个不错的交易。光靠他们自己的算力和技术，很难把这些冷门语料转化成好用的 AI 工具，借助 OpenAI 的工具链完成数字化，还能换来更懂自己领域的专属模型。

但这里面的隐患也很明显。虽然 OpenAI 承诺会严格控制私有数据的访问权限，但数据一旦进入大模型的参数权重，到底能不能被逆向提取，行业里一直存有疑虑。机构在把核心资产交出去之前，恐怕得仔细权衡回报与版权边界。

对竞争对手而言，数据护城河的争夺战已经彻底打响了。未来的大模型拼的不仅是算力芯片，更是谁能先拿到法律、医疗、历史档案这些深层领域的独家喂养权。