OpenAI 上線模型蒸餾套件：用前沿大模型一鍵微調小模型

很多團隊在做 AI 應用時，都會陷入一個兩難局面：用 GPT-4o 或 o1-preview 效果確實好，但呼叫賬單和延遲根本扛不住；換成小模型便宜是便宜，特定任務的表現又差了一大截。

業內通行的解法是「模型蒸餾」，也就是讓大模型當老師，把大模型的回答存下來，拿去微調更便宜的小模型。但在過去，這套流程相當折騰，開發者得自己寫指令碼捕獲資料、搭日誌管道、手動洗資料、調微調介面，再自己寫評測程式碼對比，整個鏈路又碎又容易出錯。

OpenAI 在其 API 平臺正式上線了一整套模型蒸餾工具鏈，把資料捕獲、模型微調和效果評估全部打通成一個閉環。

只要加個引數，生產資料直接變成訓練集

這次更新最關鍵的改動，是一個叫 Stored Completions 的新功能。開發者只要在呼叫 Chat Completions API 時帶上 store: true 引數，系統就會自動在後臺記錄每次請求的輸入和輸出對，而且官方表示這一步完全不會增加任何請求延遲。

這些自動存下來的真實生產呼叫記錄，開發者可以在平臺上直接查閱、篩選和打標籤，順理成章地變成後續微調和評估的高質量資料集。最划算的是，Stored Completions 功能本身是完全免費的。

收集好資料後，開發者可以直接在平臺上啟動微調，把 GPT-4o 或 o1-preview 的高質量輸出餵給 GPT-4o mini 這類小模型。為了降低試錯門檻，OpenAI 還推出了限時補貼：在 10 月 31 日之前，每個開發者每天能拿到 GPT-4o mini 的 200 萬免費訓練 token，以及 GPT-4o 的 100 萬免費訓練 token。

把評測搬進平臺，省掉手寫指令碼的麻煩

微調從來不是一錘子買賣，而是一個不斷調整資料集和引數的迴圈。過去很多開發者卡在不知道微調後的小模型到底達沒達標，只能抽樣肉眼看。

針對這個痛點，OpenAI 同步推出了處於測試階段的 Evals 功能。開發者不再需要自己維護複雜的評估指令碼，直接在網頁控制台上就能針對具體任務建立基準測試。評估資料既可以來自 Stored Completions 存下來的記錄，也可以自己上傳現成的資料集。

在計費上，Evals 按照評估所消耗的 token 收取標準模型呼叫費。不過 OpenAI 也留了一個置換條款：只要開發者同意把評估資料分享給 OpenAI 用來改進未來模型，在今年年底前，每週最多可以免費跑 7 次評估。

為什麼重要

我們認為，OpenAI 這一步走得非常老練，它表面上是給開發者省時間，實際上是在把企業的核心生產流程死死鎖在自己的生態裡。

對開發者和中小團隊來說，這套工具非常值得現在就去試。過去做蒸餾需要專門搭一套資料工程基礎設施，門檻很高；現在哪怕只有一兩個工程師，也能先在生產環境開著 GPT-4o 跑業務，順手存下幾萬條資料，然後幾天內就能以極低的成本訓練出一個專用的 GPT-4o mini，把線上的呼叫成本直接打下幾個數量級。

但這裡的隱患也同樣明顯。開發者如果習慣了這一套一鍵閉環，以後想把模型遷移到其他開源模型或者競品雲平臺上，遷移成本就會變得極高。更不用說每週免費評估的代價，是把寶貴的專有評測資料拱手交給 OpenAI 去訓練下一代大模型。

從行業競爭來看，OpenAI 正在從單純的模型供應商，加速變成一整套 AI 開發與運維平臺。它不僅在賣前沿大模型的算力，還在教大家怎麼把大模型當成資料生成器來用。這給其他主開啟源微調工具鏈的初創公司敲響了警鐘，因為當原生平臺把閉環做得足夠絲滑、足夠便宜時，外掛第三方工具的生存空間就會被嚴重擠壓。