跳到正文
IFAI

大模型

Gemini 2.5 上线隐式缓存:不用手动存,重复 Prompt 自动打 2.5 折

首次发布 传播指数 50

Google 宣布为 Gemini 2.5 模型推出隐式缓存。开发者无需手动创建缓存,只要后续请求共享相同前缀就能自动命中,享受 75% 的 token 折扣;Flash 与 Pro 的起用门槛也分别降至 1024 和 2048 tokens。也就是说,把固定内容放 Prompt 开头就能无感省钱。

Gemini 2.5 上线隐式缓存:不用手动存,重复 Prompt 自动打 2.5 折
图:developers.googleblog.com

每次调用大模型 API,开头的系统提示词、长格式代码库或者参考手册翻来覆去地发,明明一个字都没变,账单却每回都要全额付一遍。

Google 宣布在 Gemini API 中为 Gemini 2.5 系列模型上线「隐式缓存」(implicit caching)。开发者不需要手动创建和管理缓存,只要连续请求的前半部分内容一致,系统就会自动识别并给予 75% 的 token 费用折扣。

只要前缀对得上,系统自动打两五折

早在 2024 年 5 月,Google 就上线过显式上下文缓存,同样能省 75% 的费用。

但当时的显式缓存对开发者来说有点麻烦,你必须专门调用接口去创建一个缓存对象,给它分配生命周期,再把请求定向到这个对象上。很多小项目或者高频变更的业务,算下来管理成本比省下的钱还高。

这次更新的隐式缓存说白了就是全自动后勤。

当你向 Gemini 2.5 发送请求时,只要该请求的前缀和之前的请求重合,系统就会自动判定为缓存命中,并把 75% 的折扣直接返还给开发者。

为了让更多请求能用上这个福利,Google 还大幅降低了起步门槛。Gemini 2.5 Flash 的最低请求缓存门槛降到了 1024 个 token,能力更强的 Gemini 2.5 Pro 则降到了 2048 个 token。

写 Prompt 的逻辑也因此变得很简单:把固定的背景设定、系统指令或知识库内容死死钉在最前面,把每个用户临时变化的问题甩在最后面。请求返回的 usage metadata 里已经增加了 cached_content_token_count 字段,一眼就能看清有多少 token 享受了折扣。

如果你需要绝对稳妥的成本节省,官方表示原有的显式缓存 API 依然保留,同时支持 Gemini 2.5 和 2.0 模型。

为什么重要

对开发者和中小团队来说,这是一次几乎零迁移成本的真金白银省钱机会。

无论是做带固定工具定义的 AI Agent、企业知识库问答,还是代码补全,只要把长系统提示词和通用前置说明往前挪,甚至不需要改动调用架构,账单就能立减大半。

从行业竞争来看,大模型厂商的拼杀已经从单纯的比拼基模型价格,转向了比拼工程化优化体验。此前 Anthropic 等厂商靠 Prompt Caching 吸引了大量高频调用长上下文的团队,Google 这次通过隐式自动化跟进,直接把缓存的使用门槛拉低到了地板上。

我们认为,Google 这一步做得相当聪明。显式缓存像是一道繁琐的填空题,倒逼开发者权衡时间成本;而隐式缓存把决策交给了算法底层,把羊毛直接塞到用户兜里。

不过这里也有一个潜在的隐患。隐式缓存的留存完全依赖 Google 底层的匹配和淘汰机制,开发者无法像显式缓存那样精确掌控缓存何时失效。对于那些对成本波动极度敏感的超大型业务,完全押注隐式命中可能不如显式锁定来得稳当。

来源 (1)

  1. [1]
    developers.googleblog.com(在新标签页打开)原文developers.googleblog.com

每日 AI 内容精选