OpenAI 啟動資料合作計劃：拉機構建訓練集，支援開源與私有

網際網路上能公開抓取的高質量網頁，差不多快被大模型吃光了。現在，OpenAI 決定換一種方式找糧。

OpenAI 正式推出了資料合作伙伴計劃，公開向全球的政府、企業和非營利機構徵集資料。他們想要那些還沒被公開傳到網上的私有資料，用來訓練下一代 AI 模型。

想要什麼，能幫合作伙伴做什麼

OpenAI 盯上的不是網上零碎的短帖子，而是真正能反映人類意圖和思考過程的長內容，比如完整的長篇文章或深度對話。

在資料形態上，他們不挑食，文本、影像、音訊和影片全部都要，涵蓋任何語言和主題。

不少機構手握老舊檔案但沒有技術整理，OpenAI 表示可以派自家技術上門幫忙。他們可以用光學字元識別技術把紙質檔案或 PDF 數字化，也可以用語音識別把錄音轉成文字，並協助清洗掉敏感資訊、個人隱私和第三方版權內容。

在這之前，他們已經做過一些嘗試。比如和冰島政府以及 Miðeind ehf 合作，用整理好的冰島語資料集強化了 GPT-4 的小語種能力；還拉來了非營利組織 Free Law Project，把大量法律卷宗餵給了模型。

開源共享與私有定製兩條腿走路

這次合作分為兩種具體的路線。

第一種是建立開源公共檔案庫。這部分清洗出來的資料會完全對公眾開放，任何開發者或研究機構都能拿去訓練模型，OpenAI 自己也會用它來探索訓練開源模型。

第二種則是私有專屬資料集。如果機構擁有極具價值的行業秘密或專有資料，不希望對外公佈，但又想讓 GPT 模型精通自己的業務，就可以走私有合作路線。OpenAI 承諾會按照合作方要求的敏感度和許可權控制來保管這些資料，只用於基礎模型、微調或專屬定製模型的訓練。

為什麼重要

我們認為，OpenAI 這次的主動招募，說明大模型訓練已經正式進入了深水區。公網上的開源文本存量有限，且充斥著大量低質內容，AI 公司如果還想讓模型繼續進化，就必須敲開那些沉睡線上下的專業機構大門。

對於擁有專業語料的非營利機構、行業組織或小語種國家來說，這是個不錯的交易。光靠他們自己的算力和技術，很難把這些冷門語料轉化成好用的 AI 工具，藉助 OpenAI 的工具鏈完成數字化，還能換來更懂自己領域的專屬模型。

但這裡面的隱患也很明顯。雖然 OpenAI 承諾會嚴格控制私有資料的訪問許可權，但資料一旦進入大模型的引數權重，到底能不能被逆向提取，行業裡一直存有疑慮。機構在把核心資產交出去之前，恐怕得仔細權衡回報與版權邊界。

對競爭對手而言，資料護城河的爭奪戰已經徹底打響了。未來的大模型拼的不僅是算力晶片，更是誰能先拿到法律、醫療、歷史檔案這些深層領域的獨家餵養權。