OpenAI 開放 GPT-3.5 Turbo 微調：提示詞最多可砍 90%

很多開發者過去幾個月都在算同一筆賬：用 GPT-4 效果確實好，但呼叫費用太貴、響應也慢；換用 GPT-3.5 Turbo 倒是便宜又快，可遇到特定的業務格式或者稍微複雜的語氣要求，它就經常掉鏈子。

OpenAI 終於拿出了應對方案。8 月 22 日，OpenAI 宣佈正式開放 GPT-3.5 Turbo 的微調功能，GPT-4 的微調也將於今年秋季跟進。

最抓人眼球的是官方的一句表態：在部分特定狹窄任務中，經過微調的 GPT-3.5 Turbo 表現甚至可以打平甚至超越基礎版 GPT-4。

提示詞瘦身九成，還能省錢提速

很多人以為微調只是為了讓模型學新知識，但在實際工程裡，它最大的價值往往是讓模型「聽話」和「定型」。

以往為了讓 GPT-3.5 乖乖輸出符合格式的 JSON，或者每次都用特定品牌的口吻說話，開發者必須在 System Prompt 裡塞入大量示例和冗長規則。這不僅佔用上下文視窗，每次請求還要為這些重複的輸入 token 買單。

現在有了微調，這些規則可以直接固化進模型權重裡。OpenAI 表示，早期測試者通過將常用指令做進微調模型，把每次呼叫的提示詞體積縮減了最高 90%。輸入變短了，API 呼叫的延遲隨之降低，長期執行的成本也直接砍下來一大截。

這次微調支援 4k 上下文長度，比 OpenAI 之前的老款微調模型容量翻了一倍。到了今年秋季，官方還會追加支援 16k 上下文版本以及函式呼叫功能。

成本方面也算得上透明。GPT-3.5 Turbo 的訓練費用是每 1000 個 token 收費 0.008 美元，呼叫時的輸入每千 token 0.012 美元，輸出每千 token 0.016 美元。OpenAI 舉了個例子：一份包含 10 萬 token 的訓練集，跑 3 個 epoch 的訓練成本大概只要 2.40 美元。

關於企業最關心的隱私問題，OpenAI 再次重申，進出微調 API 的所有資料都歸客戶所有，不會被官方用來訓練其他模型。同時為了防範濫用，微調資料會先經過 Moderation API 和一個由 GPT-4 驅動的稽核系統。

除了 GPT-3.5 Turbo，OpenAI 還發布了 babbage-002 和 davinci-002，用來替代將在 2024 年 1 月 4 日停運的初代 GPT-3 基礎模型，微調端點也統一遷移到了新的體系。

為什麼重要

我們認為，這是 OpenAI 鞏固自身生態護城河非常關鍵的一步。

在此之前，開源社群靠著 Llama 2 等模型大打「私有化微調」的牌，很多企業因為想要專有風格和可控格式，不得不花大成本自建微調與推理管線。現在 OpenAI 把門檻直接砸到了兩三美元一次，對於中小團隊或獨立開發者來說，拿基礎模型蒸餾自己的垂直小模型變得前所未有的划算。

如果你的業務受限於 GPT-4 的高昂成本，或者苦於 GPT-3.5 的格式不穩定，現在絕對值得花幾塊錢做一次小樣本微調。它不僅能顯著減少輸出亂碼，還能讓你的 API 賬單迅速瘦身。

不過看起來微調也不是萬靈藥。微調改變的是行為模式和格式遵循度，並不等於真正學會了外部世界的新事實；而且微調後的推理單價依然比原生 GPT-3.5 貴出數倍。如果在 Prompt 層面加上資訊檢索就能解決問題，盲目上微調反而會增加後期的維護成本與資料準備工作。