跳到正文
IFAI

大模型

Gemini 2.5 上線隱式快取:不用手動存,重複 Prompt 自動打 2.5 折

首次發布 傳播指數 50

Google 宣佈為 Gemini 2.5 模型推出隱式快取。開發者無需手動建立快取,只要後續請求共享相同字首就能自動命中,享受 75% 的 token 折扣;Flash 與 Pro 的起用門檻也分別降至 1024 和 2048 tokens。也就是說,把固定內容放 Prompt 開頭就能無感省錢。

Gemini 2.5 上線隱式快取:不用手動存,重複 Prompt 自動打 2.5 折
圖:developers.googleblog.com

每次呼叫大模型 API,開頭的系統提示詞、長格式程式碼庫或者參考手冊翻來覆去地發,明明一個字都沒變,賬單卻每回都要全額付一遍。

Google 宣佈在 Gemini API 中為 Gemini 2.5 系列模型上線「隱式快取」(implicit caching)。開發者不需要手動建立和管理快取,只要連續請求的前半部分內容一致,系統就會自動識別並給予 75% 的 token 費用折扣。

只要字首對得上,系統自動打兩五折

早在 2024 年 5 月,Google 就上線過顯式上下文快取,同樣能省 75% 的費用。

但當時的顯式快取對開發者來說有點麻煩,你必須專門呼叫介面去建立一個快取物件,給它分配生命週期,再把請求定向到這個物件上。很多小專案或者高頻變更的業務,算下來管理成本比省下的錢還高。

這次更新的隱式快取說白了就是全自動後勤。

當你向 Gemini 2.5 傳送請求時,只要該請求的字首和之前的請求重合,系統就會自動判定為快取命中,並把 75% 的折扣直接返還給開發者。

為了讓更多請求能用上這個福利,Google 還大幅降低了起步門檻。Gemini 2.5 Flash 的最低請求快取門檻降到了 1024 個 token,能力更強的 Gemini 2.5 Pro 則降到了 2048 個 token。

寫 Prompt 的邏輯也因此變得很簡單:把固定的背景設定、系統指令或知識庫內容死死釘在最前面,把每個使用者臨時變化的問題甩在最後面。請求返回的 usage metadata 裡已經增加了 cached_content_token_count 欄位,一眼就能看清有多少 token 享受了折扣。

如果你需要絕對穩妥的成本節省,官方表示原有的顯式快取 API 依然保留,同時支援 Gemini 2.5 和 2.0 模型。

為什麼重要

對開發者和中小團隊來說,這是一次幾乎零遷移成本的真金白銀省錢機會。

無論是做帶固定工具定義的 AI Agent、企業知識庫問答,還是程式碼補全,只要把長系統提示詞和通用前置說明往前挪,甚至不需要改動呼叫架構,賬單就能立減大半。

從行業競爭來看,大模型廠商的拼殺已經從單純的比拼基模型價格,轉向了比拼工程化最佳化體驗。此前 Anthropic 等廠商靠 Prompt Caching 吸引了大量高頻呼叫長上下文的團隊,Google 這次通過隱式自動化跟進,直接把快取的使用門檻拉低到了地板上。

我們認為,Google 這一步做得相當聰明。顯式快取像是一道繁瑣的填空題,倒逼開發者權衡時間成本;而隱式快取把決策交給了演算法底層,把羊毛直接塞到使用者兜裡。

不過這裡也有一個潛在的隱患。隱式快取的留存完全依賴 Google 底層的匹配和淘汰機制,開發者無法像顯式快取那樣精確掌控快取何時失效。對於那些對成本波動極度敏感的超大型業務,完全押注隱式命中可能不如顯式鎖定來得穩當。

來源 (1)

  1. [1]
    developers.googleblog.com(在新分頁開啟)原文developers.googleblog.com

每日 AI 內容精選