OpenAI 升級 GPT-6 提示詞快取：最高享 90% 折扣，新增排錯診斷工具

如果你做過長時間執行的 AI Agent，一定體會過這種肉痛：智慧體為了重構程式碼庫或者寫一篇幾萬字的深度調研，每隔幾秒就要發一次 API 請求。每次請求都要把厚厚的系統提示詞、幾十個工具定義和前面一堆歷史記錄原封不動地發回去，賬單像流水一樣往上竄，響應時間也越拖越長。

針對這個痛點，OpenAI 在 9 月 22 日宣佈改進了 GPT-6 系列模型的 Prompt Caching（提示詞快取）機制。核心變化很簡單：預設提供更高的快取命中率，把符合條件的共享字首快取視窗延長到 30 分鐘，並針對命中的輸入 token 給予最高 90% 的折扣。據 GitHub Copilot 透露，採用這套系統後，全新 token 的處理量直接砍掉了 50%。

告別盲猜：給快取裝上儀表盤和診斷器

以前做快取最佳化，開發者基本上全憑感覺，哪一次突然穿透了全量計費，根本不知道是哪幾個字元出了偏差。

這次 OpenAI 補上了兩個很實用的配套工具。第一個是 Prompt Caching Dashboard，能讓你看清應用有多少輸入來自快取，並用柱狀圖對比快取與非快取 token 的佔比，命中率一往下掉就能立刻發現。

第二個是診斷工具。當你發現某次請求莫名其妙發生了 Cache Miss，把請求和上一次返回放進診斷器，它會明確告訴你原因。比如是因為中間改動了工具定義，還是換了模型設定，甚至會直接估算受到影響的 token 數量，開發者不用再一行行肉眼找茬。

動用推理不用清零：更精細的快取控制

為了讓 Agent 跑得更順，OpenAI 還給 GPT-6 加了一套顯式控制機制。

以前調整推理強度（Reasoning Effort）往往會破壞快取，現在的 GPT-6 允許通過追加 configuration_update 引數，在不打碎快取字首的前提下，動態把推理強度調高應付難題，或者在常規追問時調低以節省成本。

針對工具定義的變動，OpenAI 建議開發者保持工具 Schema 和順序固定，需要停用某工具時改用 allowed_tools 或把 tool_choice 設為 none，新指令則通過在末尾追加 developer message 來覆蓋舊指令，避免破壞前面的快取結構。

此外，系統還支援了快取預熱（Prewarming）。在使用者問出第一個問題之前，應用就可以先把龐大的參考資料和系統指令預熱到視訊記憶體裡，把載入延遲從使用者的等待時間中扣掉。

為什麼重要

我們認為，這一步更新標誌著大模型介面正在從「黑盒呼叫」走向成熟的「系統工程」。

對於開發長時間執行智慧體或程式碼助手的團隊來說，這次更新非常實在。長上下文 Agent 的最大成本就在於不斷重複輸入相同的背景資料，90% 的折扣加上 GitHub Copilot 實測省掉一半新 token 處理，意味著重度 Agent 的 API 開銷幾乎能直接腰斬，現在就值得去程式碼庫裡梳理提示詞字首。

聰明的地方在於，OpenAI 沒有光喊降價，而是把開發者最頭疼的邊界細節做成了工具。以前快取就像玻璃一樣脆弱，改個引數、調個工具順序就碎一地，開發者毫無感知；現在給出了斷點、預熱和診斷日誌，等於把控制權交還給了工程師。

從行業競爭來看，大模型的戰場已經從單次回答的比拼，轉向了支撐持續工作流的基建能力。當頭部廠商把快取持久度和命中率做到這種地步，對手如果不能在推理引擎和定價上跟進類似的快取支援，就很難在複雜的生產級 Agent 市場裡留住大客戶。