Anthropic 上线提示词缓存：长提示词成本砍掉 90%，延迟降 85%

调用大模型做开发，最让人心疼的不是模型太笨，而是每次对话都要把一整本说明书、整个代码库重新发给它一遍。每发一次，Token 计数器就跳一次，钱包也跟着缩水一次。

Anthropic 在自家的 Claude API 里上线了 Prompt Caching（提示词缓存）。简单说，就是让 Claude 记住你刚发过的上下文，不用每轮都重新算一遍。这直接把长提示词的 API 成本压低了最多 90%，首字延迟砍掉了最多 85%。

读一本书的延迟，从 11.5 秒砍到 2.4 秒

很多人调 API 时最头疼长文本：你要做多轮对话、喂几十个样本做 Few-shot，或者让模型针对整个代码库答疑，每一轮上下文都在成倍膨胀。

以 10 万 Token 的长书问答为例，原本模型吐出第一个字要等 11.5 秒，开了缓存后降到 2.4 秒，响应速度直接提了近八成，成本更是省了 90%。哪怕是 10 轮带长系统设定的普通对话，首字响应也从大约 10 秒缩到了 2.5 秒左右，费用省下一半多。

像 Notion 就已经在自家的 Notion AI 里接了这项技术。Bind AI 和 Perplexity 这类高频复用背景信息的工具，同样是直接受益者。

怎么算账：写入贵两成五，读取打一折

这项功能的计费逻辑很直接：写入缓存要加钱，复用缓存大减价。

以每百万输入 Token 标价 3 美元的 Claude 3.5 Sonnet 为例，第一次把内容写进缓存，费用会多收 25%，也就是 3.75 美元。但从第二次开始，只要命中缓存，输入费用直接打一折，跌到每百万 Token 只要 0.3 美元。

开发者只需要在 API 请求里加上 cache_control 参数，既可以手动打断点，也可以让系统自动把增长的对话历史缓存下来。默认的缓存有效时间是 5 分钟，只要在这期间有新请求命中，有效时间就会重新刷新。Anthropic 后来还提供了 1 小时的缓存时长选项。

不过它也有门槛。目前缓存按 1024 个 Token 为单位起步，一个提示词最多设 4 个断点。而且缓存计时是从请求发起那一刻开始算的，如果模型流式生成回复花了 4 分钟，你留给下一次请求复用缓存的时间，实际上就只剩大约 1 分钟了。

为什么重要

我们认为，Prompt Caching 是今年大模型 API 领域最务实、也最聪明的升级之一。

对开发者和独立团队来说，这直接决定了一个 Agent 项目在经济上成不成立。过去做多轮工具调用（Tool Use）或者代码库检索，模型多跑两轮，Token 成本就让小团队吃不消，甚至逼得大家牺牲效果去砍上下文。现在只要把基础设定和大型背景固定住，后续调用的边际成本几乎可以忽略不计，给模型塞 100 个 Few-shot 样本也不用心虚了。

对行业来说，Anthropic 这招相当于把长上下文的「使用成本」和「单价」分开了。表面上看模型标价没变，但在真实业务场景里，整体账单直接被打到骨折。这会倒逼 OpenAI 和 Google 加快跟进类似的基础设施优化，单纯比拼纸面长文本已经不够看了，拼谁的上下文能便宜且快速地跑起来才是关键。

但它并非没有隐患。5 分钟的滚动有效时间看起来合理，但对于访问量不稳定、调用间隔长的低频工具来说，很容易每次都踩中「写入加价 25%」的惩罚区，反而更贵。开发者必须仔细算好自己的请求频次，才能真正把便宜占到手里。