OpenAI 升级 GPT-6 提示词缓存：最高享 90% 折扣，新增排错诊断工具

如果你做过长时间运行的 AI Agent，一定体会过这种肉痛：智能体为了重构代码库或者写一篇几万字的深度调研，每隔几秒就要发一次 API 请求。每次请求都要把厚厚的系统提示词、几十个工具定义和前面一堆历史记录原封不动地发回去，账单像流水一样往上窜，响应时间也越拖越长。

针对这个痛点，OpenAI 在 9 月 22 日宣布改进了 GPT-6 系列模型的 Prompt Caching（提示词缓存）机制。核心变化很简单：默认提供更高的缓存命中率，把符合条件的共享前缀缓存窗口延长到 30 分钟，并针对命中的输入 token 给予最高 90% 的折扣。据 GitHub Copilot 透露，采用这套系统后，全新 token 的处理量直接砍掉了 50%。

告别盲猜：给缓存装上仪表盘和诊断器

以前做缓存优化，开发者基本上全凭感觉，哪一次突然穿透了全量计费，根本不知道是哪几个字符出了偏差。

这次 OpenAI 补上了两个很实用的配套工具。第一个是 Prompt Caching Dashboard，能让你看清应用有多少输入来自缓存，并用柱状图对比缓存与非缓存 token 的占比，命中率一往下掉就能立刻发现。

第二个是诊断工具。当你发现某次请求莫名其妙发生了 Cache Miss，把请求和上一次返回放进诊断器，它会明确告诉你原因。比如是因为中间改动了工具定义，还是换了模型设置，甚至会直接估算受到影响的 token 数量，开发者不用再一行行肉眼找茬。

动用推理不用清零：更精细的缓存控制

为了让 Agent 跑得更顺，OpenAI 还给 GPT-6 加了一套显式控制机制。

以前调整推理强度（Reasoning Effort）往往会破坏缓存，现在的 GPT-6 允许通过追加 configuration_update 参数，在不打碎缓存前缀的前提下，动态把推理强度调高应付难题，或者在常规追问时调低以节省成本。

针对工具定义的变动，OpenAI 建议开发者保持工具 Schema 和顺序固定，需要停用某工具时改用 allowed_tools 或把 tool_choice 设为 none，新指令则通过在末尾追加 developer message 来覆盖旧指令，避免破坏前面的缓存结构。

此外，系统还支持了缓存预热（Prewarming）。在用户问出第一个问题之前，应用就可以先把庞大的参考资料和系统指令预热到显存里，把加载延迟从用户的等待时间中扣掉。

为什么重要

我们认为，这一步更新标志着大模型接口正在从「黑盒调用」走向成熟的「系统工程」。

对于开发长时间运行智能体或代码助手的团队来说，这次更新非常实在。长上下文 Agent 的最大成本就在于不断重复输入相同的背景资料，90% 的折扣加上 GitHub Copilot 实测省掉一半新 token 处理，意味着重度 Agent 的 API 开销几乎能直接腰斩，现在就值得去代码库里梳理提示词前缀。

聪明的地方在于，OpenAI 没有光喊降价，而是把开发者最头疼的边界细节做成了工具。以前缓存就像玻璃一样脆弱，改个参数、调个工具顺序就碎一地，开发者毫无感知；现在给出了断点、预热和诊断日志，等于把控制权交还给了工程师。

从行业竞争来看，大模型的战场已经从单次回答的比拼，转向了支撑持续工作流的基建能力。当头部厂商把缓存持久度和命中率做到这种地步，对手如果不能在推理引擎和定价上跟进类似的缓存支持，就很难在复杂的生产级 Agent 市场里留住大客户。