跳到正文
IFAI

大模型

OpenAI 開放 GPT-4o 微調:幾十條資料起訓,限時每天送百萬 token

首次發布 傳播指數 52

OpenAI 宣佈面向所有付費開發者開放 GPT-4o 微調功能。開發者只需幾十條樣本就能定製響應格式與行業特定語氣,訓練費用為每百萬 token 25 美元。9 月 23 日前,每個組織每天還能獲贈 100 萬免費訓練 token。

OpenAI 開放 GPT-4o 微調:幾十條資料起訓,限時每天送百萬 token
圖:openai.com

以前想讓最頂級的 AI 聽懂你的公司暗號或程式碼規範,唯一的辦法就是在每次發訊息時,把上萬字的背景和例子硬塞進提示詞裡。這種做法不僅費 token、拖慢響應速度,模型還時不時把規矩忘在腦後。

OpenAI 終於開放了 GPT-4o 的微調功能。只要你是付費層級開發者,現在就可以登入後臺,用自己的資料集定製專屬版本的旗艦模型。

為了讓大家儘快動手,官方還給出了限時羊毛。在 9 月 23 日之前,每個組織每天可以免費獲得 100 萬個 GPT-4o 訓練 token。如果是給 GPT-4o mini 微調,每天送的額度翻倍到 200 萬 token。

幾十個樣本就能改脾氣,成本也擺在明面上

按照 OpenAI 的說法,開發者只要準備幾十個樣本,就能看到明顯的定製效果。微調不僅能讓模型適應特定業務領域的複雜指令,還能統一回答的語氣和結構。

收費標準也同時公佈。GPT-4o 的訓練成本是每 100 萬 token 收取 25 美元。訓練完成後,推理成本是輸入每 100 萬 token 收取 3.75 美元,輸出每 100 萬 token 收取 15 美元。

資料安全方面,官方明確表示微調模型完全歸使用者控制。不管是喂進去的訓練資料,還是後續的輸入輸出,都不會被用來訓練其他模型或與第三方共享。同時他們會在後臺執行自動化安全評估,防止定製模型被濫用。

早期測試者已經刷出了跑分新紀錄

在公開發布前,OpenAI 找了幾家夥伴提前試水,拿出來的成績單相當亮眼。

做軟體工程助手的 Cosine 推出了 Genie 工具,它就是用真實軟體工程師的工作記錄微調了 GPT-4o。這個模型學會了直接按規範輸出補丁格式的程式碼,在 SWE-bench Verified 基準測試上跑出了 43.8% 的成績。

在更難的 SWE-bench Full 測試中,Genie 拿下了 30.08% 的分數,把他們自己此前 19.27% 的紀錄直接重新整理,這也是該基準設立以來的最大單次提升幅度。

另一家企業級夥伴 Distyl 則專注企業資料分析,他們微調的 GPT-4o 在知名文本轉 SQL 榜單 BIRD-SQL 上拿到了第一名,執行準確率達到 71.83%,在意圖分類、思維鏈和自動糾錯上表現突出。

為什麼重要

我們認為,GPT-4o 開放微調最直接的價值,就是把複雜工作流的成本壓了下來。很多團隊此前為了保證格式正確,得把很長的規則嵌在 Prompt 裡反覆呼叫,現在把規範固化進模型權重後,省下的推理 token 很快就能抹平成本。

對於軟體工程、法律合規或者醫療這種對格式與術語極度敏感的領域,這絕對值得立刻一試。尤其是每天贈送的 100 萬 token 額度,足夠很多團隊拿幾十到幾百條核心資料做冷啟動驗證。

從行業競爭來看,這給 Anthropic 等對手施加了不小的壓力。此前 Claude 3.5 Sonnet 在程式碼領域口碑極佳,但 OpenAI 允許開發者用私有資料深度改造 GPT-4o,能讓企業把模型效能再往上推一個臺階。

但這裡也有隱患。微調雖然能解決語氣和格式,卻很難憑空教會模型原本就不懂的新事實。如果你的訓練集質量不高,反而可能讓模型染上新的幻覺,盲目投入訓練成本並不可取。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

每日 AI 內容精選