OpenAI 升級微調 API：支援斷點儲存與對比測試，拓展定製模型服務

很多團隊在用大模型時都會撞上一堵牆：靠提示詞工程調不好，做 RAG 又經常搜出無關噪音，真想給模型灌點行業專屬常識，卻發現微調門檻高得嚇人。

OpenAI 針對這個問題連發了兩手大招：一方面升級了自助式微調 API，給普通開發者更多除錯工具；另一方面正式擴容了定製模型專案，專門派出自家的技術團隊，手把手幫企業訓練專屬大模型。

給了開發者更細的控制權

自 2023 年 8 月上線 GPT-3.5 的微調 API 以來，開發者們已經跑了數十萬個模型。但之前的痛點也很明顯，調參容易過擬合，模型效果不好對比，訓練指標也只能抽樣看。

這次更新重點補齊了這些工具鏈。現在系統會在每個訓練 epoch 自動生成一個檢查點，一旦發現模型跑過頭了，不用從頭再訓，直接回滾到上一輪即可。

網頁控制台裡多了一個並排對比的 Playground。開發者可以輸入同一段提示詞，一眼對比不同微調版本或者原版模型的輸出差異。

同時，開發者不再只能靠程式碼調參，直接在後臺就能修改超引數並重新執行任務。驗證集指標也改成了全量計算，還能把訓練資料直接同步到 Weights and Biases 這類第三方平臺。

招聘平臺 Indeed 就靠微調 GPT-3.5 Turbo 嚐到了甜頭。他們把推薦職位時的解釋文本做得更精準，同時讓提示詞裡的 token 數量減少了 80%，每月傳送的推薦量直接從不到 100 萬條飆升到了 2000 萬條。

大客戶的專屬服務：從輔助微調到重訓底模

如果自助 API 滿足不了需求，OpenAI 這次還拿出了更重的定製模型方案，分為輔助微調和完全定製兩個檔位。

所謂輔助微調，就是企業出資料，OpenAI 派出專門的研究團隊配合，使用更大規模的高階超引數和引數高效微調技術。韓國電信巨頭 SK Telecom 就拉著 OpenAI 一起調優 GPT-4 的韓語電信客服能力，幾週下來，客服意圖識別準確率提高了 33%，使用者滿意度從 3.6 分漲到了 4.5 分。

至於更極致的完全定製模型，則直接深入到底層訓練流程。針對擁有海量專有資料的行業，OpenAI 會在中間訓練和後訓練階段重新注入領域知識。

法律 AI 工具 Harvey 就是典型代表。他們給 OpenAI 餵了相當於 100 億 token 的案例文件和法律資料，OpenAI 團隊重寫了部分訓練流程，並引入專業律師反饋。結果模型的事實回答準確率提升了 83%，在律師評測中，定製模型的輸出有 97% 的時候被認為優於原生 GPT-4。

為什麼重要

對於廣大開發者和中小企業來說，這次微調 API 的改動非常務實。尤其是檢查點儲存和網頁端橫向對比，省去了大量重複訓練的算力浪費和自建評測頁面的麻煩。如果你的業務有固定格式輸出要求，或者想大幅壓縮提示詞長度降成本，現在微調 GPT-3.5 是非常划算的選擇。

我們認為，OpenAI 這套分級打法走得非常聰明。它把客戶切成了兩截：普通開發者用標準化 API 自助跑，賺走長尾的推理和訓練費；而有核心壁壘、手握海量專有資產的巨頭，則通過定製專案高價包圓。這不僅能卡死企業級高階市場，還能借著企業的大規模私有資料，摸清特定垂直領域的模型訓練天花板。

但這裡的隱患也同樣明顯。企業要把上百億 token 的核心機密資產託付給外部團隊，還要深度繫結在閉源架構上，遷移成本高得驚人。對於真正視資料為生命的企業來說，到底該選擇找 OpenAI 定製，還是拿著開源底座自建私有化鏈路，這道選擇題接下來會變得更加尖銳。