OpenAI 开放 GPT-3.5 Turbo 微调：提示词最多可砍 90%

很多开发者过去几个月都在算同一笔账：用 GPT-4 效果确实好，但调用费用太贵、响应也慢；换用 GPT-3.5 Turbo 倒是便宜又快，可遇到特定的业务格式或者稍微复杂的语气要求，它就经常掉链子。

OpenAI 终于拿出了应对方案。8 月 22 日，OpenAI 宣布正式开放 GPT-3.5 Turbo 的微调功能，GPT-4 的微调也将于今年秋季跟进。

最抓人眼球的是官方的一句表态：在部分特定狭窄任务中，经过微调的 GPT-3.5 Turbo 表现甚至可以打平甚至超越基础版 GPT-4。

提示词瘦身九成，还能省钱提速

很多人以为微调只是为了让模型学新知识，但在实际工程里，它最大的价值往往是让模型「听话」和「定型」。

以往为了让 GPT-3.5 乖乖输出符合格式的 JSON，或者每次都用特定品牌的口吻说话，开发者必须在 System Prompt 里塞入大量示例和冗长规则。这不仅占用上下文窗口，每次请求还要为这些重复的输入 token 买单。

现在有了微调，这些规则可以直接固化进模型权重里。OpenAI 表示，早期测试者通过将常用指令做进微调模型，把每次调用的提示词体积缩减了最高 90%。输入变短了，API 调用的延迟随之降低，长期运行的成本也直接砍下来一大截。

这次微调支持 4k 上下文长度，比 OpenAI 之前的老款微调模型容量翻了一倍。到了今年秋季，官方还会追加支持 16k 上下文版本以及函数调用功能。

成本方面也算得上透明。GPT-3.5 Turbo 的训练费用是每 1000 个 token 收费 0.008 美元，调用时的输入每千 token 0.012 美元，输出每千 token 0.016 美元。OpenAI 举了个例子：一份包含 10 万 token 的训练集，跑 3 个 epoch 的训练成本大概只要 2.40 美元。

关于企业最关心的隐私问题，OpenAI 再次重申，进出微调 API 的所有数据都归客户所有，不会被官方用来训练其他模型。同时为了防范滥用，微调数据会先经过 Moderation API 和一个由 GPT-4 驱动的审核系统。

除了 GPT-3.5 Turbo，OpenAI 还发布了 babbage-002 和 davinci-002，用来替代将在 2024 年 1 月 4 日停运的初代 GPT-3 基础模型，微调端点也统一迁移到了新的体系。

为什么重要

我们认为，这是 OpenAI 巩固自身生态护城河非常关键的一步。

在此之前，开源社区靠着 Llama 2 等模型大打「私有化微调」的牌，很多企业因为想要专有风格和可控格式，不得不花大成本自建微调与推理管线。现在 OpenAI 把门槛直接砸到了两三美元一次，对于中小团队或独立开发者来说，拿基础模型蒸馏自己的垂直小模型变得前所未有的划算。

如果你的业务受限于 GPT-4 的高昂成本，或者苦于 GPT-3.5 的格式不稳定，现在绝对值得花几块钱做一次小样本微调。它不仅能显著减少输出乱码，还能让你的 API 账单迅速瘦身。

不过看起来微调也不是万灵药。微调改变的是行为模式和格式遵循度，并不等于真正学会了外部世界的新事实；而且微调后的推理单价依然比原生 GPT-3.5 贵出数倍。如果在 Prompt 层面加上信息检索就能解决问题，盲目上微调反而会增加后期的维护成本与数据准备工作。