OpenAI 推出 Predicted Outputs：拿參考文本給 GPT-4o 提速

如果你經常用 GPT 改寫程式碼或者潤色長文章，應該很熟悉那種等模型把大段沒變的內容重新敲一遍的焦躁感。

OpenAI 開發者賬號公佈了一項新能力「Predicted Outputs」（預測輸出）。它的目標很直接：大幅降低 gpt-4o 和 gpt-4o-mini 的響應延遲。

拿已知文本給大模型「抄近道」

這個功能的使用方式，是在請求裡提供一段「參考字串」（reference string）。

說白了，當你讓模型修改現有的檔案時，大部分內容其實是不變的。有了這段已知的參考內容，模型就不需要從零開始逐字推測，而是能直接跳過沒變的部分。

OpenAI 官方列出了幾個典型的加速場景：在文件裡更新一篇博文、基於上一次的回答繼續迭代修改，以及在一個現有程式碼檔案裡重寫部分程式碼。

為什麼重要

在實際開發中，修改一個幾百行的程式碼檔案往往只動幾行，但以前呼叫 API 時必須等模型把整個檔案重新輸出一遍，既費時又容易中斷。

我們認為，Predicted Outputs 聰明在它精準切中了程式碼補全和協同編輯這個最高頻的場景。做 IDE 外掛和線上文件的開發者用上它，能讓使用者明顯感覺到編輯響應變輕快了。

不過這項最佳化目前只面向 gpt-4o 和 gpt-4o-mini，而且前提是你手裡必須有現成的參考底稿。如果你的需求是從頭生成全新內容，這項能力就幫不上什麼忙了。