OpenAI 推出 Predicted Outputs:拿参考文本给 GPT-4o 提速
OpenAI 面向开发者推出 Predicted Outputs 功能,允许在调用 gpt-4o 和 gpt-4o-mini 时传入参考字符串,大幅降低响应延迟。该功能主要加速局部修改场景,例如修改现有文件中的代码、更新文档博文或微调已有回答。

如果你经常用 GPT 改写代码或者润色长文章,应该很熟悉那种等模型把大段没变的内容重新敲一遍的焦躁感。
OpenAI 开发者账号公布了一项新能力「Predicted Outputs」(预测输出)。它的目标很直接:大幅降低 gpt-4o 和 gpt-4o-mini 的响应延迟。
拿已知文本给大模型「抄近道」
这个功能的使用方式,是在请求里提供一段「参考字符串」(reference string)。
说白了,当你让模型修改现有的文件时,大部分内容其实是不变的。有了这段已知的参考内容,模型就不需要从零开始逐字推测,而是能直接跳过没变的部分。
OpenAI 官方列出了几个典型的加速场景:在文档里更新一篇博文、基于上一次的回答继续迭代修改,以及在一个现有代码文件里重写部分代码。
为什么重要
在实际开发中,修改一个几百行的代码文件往往只动几行,但以前调用 API 时必须等模型把整个文件重新输出一遍,既费时又容易中断。
我们认为,Predicted Outputs 聪明在它精准切中了代码补全和协同编辑这个最高频的场景。做 IDE 插件和在线文档的开发者用上它,能让用户明显感觉到编辑响应变轻快了。
不过这项优化目前只面向 gpt-4o 和 gpt-4o-mini,而且前提是你手里必须有现成的参考底稿。如果你的需求是从头生成全新内容,这项能力就帮不上什么忙了。
来源 (1)
- twitter.com(在新标签页打开)原文twitter.com