跳到正文
IFAI

大模型

Anthropic 推出 Claude 訊息執行緒公測:免重傳歷史,延遲降低 35%

首次發布 傳播指數 55

Anthropic 開啟 Claude Messages API 訊息執行緒公測。長程智慧體每輪互動無需重發全部歷史,只傳增量新訊息。在 50 萬至 100 萬 token 場景下,首字延遲中位數降低約 35%,執行緒資料在記憶體加密暫存 5 分鐘且計費不變。

Anthropic 推出 Claude 訊息執行緒公測:免重傳歷史,延遲降低 35%
圖:claude.com

如果你讓 AI 寫過一段複雜的程式碼,或者用過自動化 Agent,肯定經歷過這種痛苦:聊到幾十輪之後,AI 回覆前總要卡頓老半天。

這不是模型變笨了,而是你的客戶端每次都得把之前聊過的幾十萬字、上百張截圖和報錯日誌,原封不動地重新打包發給伺服器。現在 Anthropic 打算治一治這個毛病。

Anthropic 宣佈在 Claude Messages API 中正式公測「訊息執行緒」(Message Threads)功能。說白了,就是服務端幫你記住了之前的對話,以後每輪互動只要傳最新的增量內容就行。

告別每輪幾百兆的重傳包袱

像寫程式碼或操作電腦這樣的長程 Agent,一個任務跑下來可能要呼叫上百次 API。每一次工具返回的執行結果、修改的程式碼片段,都會堆進上下文裡。

一旦會話長度堆到幾十萬甚至上百萬 token,每次把整段歷史重新上傳一遍,光是傳輸和準備資料就會嚴重拖慢首字響應時間(TTFT)。

有了訊息執行緒之後,開發者只需要在第一次請求時帶上完整對話來啟動執行緒。之後的每一次請求,只要帶上執行緒引數、上一輪迴復的 ID 以及最新的增量訊息即可。

這套功能目前已經在大部分 Claude Code 使用者中預設開啟。官方資料顯示,對於 50 萬到 100 萬 token 的超長會話,首字延遲中位數直接降了約 35%。

在安全性方面,執行緒資料只會在記憶體中加密保留,完全不寫硬碟。如果一個執行緒連續 5 分鐘沒有新請求,就會自動過期銷燬;下次客戶端再發請求時,只需重新帶上完整歷史重啟執行緒即可。

目前訊息執行緒不僅支援原生的 Claude 平臺,也同步上線了 AWS、微軟 Foundry 以及 Google Cloud 託管環境。不過需要注意的是,Claude 每輪依然需要完整讀取全部上下文,所以 token 計費標準和速率限制並沒有任何變化,省下的純粹是等待時間。

為什麼重要

我們認為,Anthropic 這次最佳化看起來只是介面層面的修修補補,但它踩準了長程智慧體最痛的一個體驗死角。

對於每天重度使用 Claude Code 或搭建自動化工作流的開發者來說,延遲砍掉三分之一帶來的爽快感是實打實的。尤其是在螢幕操作或者多圖文件互動這類高頻場景中,每次省去反覆重傳大尺寸截圖的網路開銷,整個 Agent 的反應節奏會順暢很多。

從架構上看,服務端在記憶體裡只保留 5 分鐘的無狀態折中方案非常聰明。既沒有給自己背上沉重的持久化會話儲存負擔,避免了資料落盤的安全顧慮,又精準覆蓋了活躍呼叫的視窗期。

美中不足的是它並不幫你省錢。既然模型底層依然要讀完整上下文,你的 token 賬單就不會變少。但不管怎麼說,隨著各家模型上下文越做越大,誰能把動輒百萬 token 的互動時延壓下來,誰就能在生產環境裡把 Agent 留得更久。

來源 (2)

  1. [1]
    claude.com(在新分頁開啟)原文claude.com
  2. [2]
    x.com(在新分頁開啟)討論x.com

每日 AI 內容精選