OpenAI 上线模型蒸馏套件：用前沿大模型一键微调小模型

很多团队在做 AI 应用时，都会陷入一个两难局面：用 GPT-4o 或 o1-preview 效果确实好，但调用账单和延迟根本扛不住；换成小模型便宜是便宜，特定任务的表现又差了一大截。

业内通行的解法是「模型蒸馏」，也就是让大模型当老师，把大模型的回答存下来，拿去微调更便宜的小模型。但在过去，这套流程相当折腾，开发者得自己写脚本捕获数据、搭日志管道、手动洗数据、调微调接口，再自己写评测代码对比，整个链路又碎又容易出错。

OpenAI 在其 API 平台正式上线了一整套模型蒸馏工具链，把数据捕获、模型微调和效果评估全部打通成一个闭环。

只要加个参数，生产数据直接变成训练集

这次更新最关键的改动，是一个叫 Stored Completions 的新功能。开发者只要在调用 Chat Completions API 时带上 store: true 参数，系统就会自动在后台记录每次请求的输入和输出对，而且官方表示这一步完全不会增加任何请求延迟。

这些自动存下来的真实生产调用记录，开发者可以在平台上直接查阅、筛选和打标签，顺理成章地变成后续微调和评估的高质量数据集。最划算的是，Stored Completions 功能本身是完全免费的。

收集好数据后，开发者可以直接在平台上启动微调，把 GPT-4o 或 o1-preview 的高质量输出喂给 GPT-4o mini 这类小模型。为了降低试错门槛，OpenAI 还推出了限时补贴：在 10 月 31 日之前，每个开发者每天能拿到 GPT-4o mini 的 200 万免费训练 token，以及 GPT-4o 的 100 万免费训练 token。

把评测搬进平台，省掉手写脚本的麻烦

微调从来不是一锤子买卖，而是一个不断调整数据集和参数的循环。过去很多开发者卡在不知道微调后的小模型到底达没达标，只能抽样肉眼看。

针对这个痛点，OpenAI 同步推出了处于测试阶段的 Evals 功能。开发者不再需要自己维护复杂的评估脚本，直接在网页控制台上就能针对具体任务创建基准测试。评估数据既可以来自 Stored Completions 存下来的记录，也可以自己上传现成的数据集。

在计费上，Evals 按照评估所消耗的 token 收取标准模型调用费。不过 OpenAI 也留了一个置换条款：只要开发者同意把评估数据分享给 OpenAI 用来改进未来模型，在今年年底前，每周最多可以免费跑 7 次评估。

为什么重要

我们认为，OpenAI 这一步走得非常老练，它表面上是给开发者省时间，实际上是在把企业的核心生产流程死死锁在自己的生态里。

对开发者和中小团队来说，这套工具非常值得现在就去试。过去做蒸馏需要专门搭一套数据工程基础设施，门槛很高；现在哪怕只有一两个工程师，也能先在生产环境开着 GPT-4o 跑业务，顺手存下几万条数据，然后几天内就能以极低的成本训练出一个专用的 GPT-4o mini，把线上的调用成本直接打下几个数量级。

但这里的隐患也同样明显。开发者如果习惯了这一套一键闭环，以后想把模型迁移到其他开源模型或者竞品云平台上，迁移成本就会变得极高。更不用说每周免费评估的代价，是把宝贵的专有评测数据拱手交给 OpenAI 去训练下一代大模型。

从行业竞争来看，OpenAI 正在从单纯的模型供应商，加速变成一整套 AI 开发与运维平台。它不仅在卖前沿大模型的算力，还在教大家怎么把大模型当成数据生成器来用。这给其他主打开源微调工具链的初创公司敲响了警钟，因为当原生平台把闭环做得足够丝滑、足够便宜时，外挂第三方工具的生存空间就会被严重挤压。