Anthropic 上線提示詞快取：長提示詞成本砍掉 90%，延遲降 85%

呼叫大模型做開發，最讓人心疼的不是模型太笨，而是每次對話都要把一整本說明書、整個程式碼庫重新發給它一遍。每發一次，Token 計數器就跳一次，錢包也跟著縮水一次。

Anthropic 在自家的 Claude API 裡上線了 Prompt Caching（提示詞快取）。簡單說，就是讓 Claude 記住你剛發過的上下文，不用每輪都重新算一遍。這直接把長提示詞的 API 成本壓低了最多 90%，首字延遲砍掉了最多 85%。

讀一本書的延遲，從 11.5 秒砍到 2.4 秒

很多人調 API 時最頭疼長文本：你要做多輪對話、喂幾十個樣本做 Few-shot，或者讓模型針對整個程式碼庫答疑，每一輪上下文都在成倍膨脹。

以 10 萬 Token 的長書問答為例，原本模型吐出第一個字要等 11.5 秒，開了快取後降到 2.4 秒，響應速度直接提了近八成，成本更是省了 90%。哪怕是 10 輪帶長系統設定的普通對話，首字響應也從大約 10 秒縮到了 2.5 秒左右，費用省下一半多。

像 Notion 就已經在自家的 Notion AI 裡接了這項技術。Bind AI 和 Perplexity 這類高頻複用背景資訊的工具，同樣是直接受益者。

怎麼算賬：寫入貴兩成五，讀取打一折

這項功能的計費邏輯很直接：寫入快取要加錢，複用快取大減價。

以每百萬輸入 Token 標價 3 美元的 Claude 3.5 Sonnet 為例，第一次把內容寫進快取，費用會多收 25%，也就是 3.75 美元。但從第二次開始，只要命中快取，輸入費用直接打一折，跌到每百萬 Token 只要 0.3 美元。

開發者只需要在 API 請求里加上 cache_control 引數，既可以手動打斷點，也可以讓系統自動把增長的對話歷史快取下來。預設的快取有效時間是 5 分鐘，只要在這期間有新請求命中，有效時間就會重新重新整理。Anthropic 後來還提供了 1 小時的快取時長選項。

不過它也有門檻。目前快取按 1024 個 Token 為單位起步，一個提示詞最多設 4 個斷點。而且快取計時是從請求發起那一刻開始算的，如果模型流式生成回覆花了 4 分鐘，你留給下一次請求複用快取的時間，實際上就只剩大約 1 分鐘了。

為什麼重要

我們認為，Prompt Caching 是今年大模型 API 領域最務實、也最聰明的升級之一。

對開發者和獨立團隊來說，這直接決定了一個 Agent 專案在經濟上成不成立。過去做多輪工具呼叫（Tool Use）或者程式碼庫檢索，模型多跑兩輪，Token 成本就讓小團隊吃不消，甚至逼得大家犧牲效果去砍上下文。現在只要把基礎設定和大型背景固定住，後續呼叫的邊際成本幾乎可以忽略不計，給模型塞 100 個 Few-shot 樣本也不用心虛了。

對行業來說，Anthropic 這招相當於把長上下文的「使用成本」和「單價」分開了。表面上看模型標價沒變，但在真實業務場景裡，整體賬單直接被打到骨折。這會倒逼 OpenAI 和 Google 加快跟進類似的基礎設施最佳化，單純比拼紙面長文本已經不夠看了，拼誰的上下文能便宜且快速地跑起來才是關鍵。

但它並非沒有隱患。5 分鐘的滾動有效時間看起來合理，但對於訪問量不穩定、呼叫間隔長的低頻工具來說，很容易每次都踩中「寫入加價 25%」的懲罰區，反而更貴。開發者必須仔細算好自己的請求頻次，才能真正把便宜佔到手裡。