跳到正文
IFAI

大模型

Anthropic 上線 100K 上下文:Claude 能一次吞下 7.5 萬字

首次發布 傳播指數 53

Anthropic 宣佈將 Claude 的上下文視窗從 9K 擴充套件至 100K token,約合 7.5 萬字。這意味著企業可以直接向 Claude 喂入上百頁財報、技術文件或法案,並在不到一分鐘內完成跨文本分析,目前已在 API 中上線。

Anthropic 上線 100K 上下文:Claude 能一次吞下 7.5 萬字
圖:anthropic.com

如果你之前試過把一份幾十頁的財報或者一整本技術手冊扔給大模型,大機率遇到過「上下文超長」的報錯。

當時大家應付這種局面的常規辦法,是先把長文件切碎,存進向量資料庫,等提問時再檢索相關片段餵給模型。但切得太碎,模型往往就看不見全貌。

Anthropic 現在把這個限制徹底掀翻了。他們宣佈將 Claude 的上下文視窗直接從 9K tokens 擴充到了 100K tokens,相當於一次性可以塞進去大約 7.5 萬個英文單詞,或者數百頁的材料。

22 秒在一整本書裡「找茬」

100K tokens 是個什麼概念。普通人讀完 10 萬 tokens 的文本,大概需要 5 個多小時,這還不算理解、記憶和分析所花的時間。

Claude 處理同樣體量的內容,耗時不到 1 分鐘。

Anthropic 團隊做了一個挺有意思的測試。他們把整本《了不起的蓋茨比》(大概 7.2 萬 tokens)一股腦塞進了 Claude-Instant 模型,只偷偷改動了其中一句話,把卡拉威先生描述成了「在 Anthropic 做機器學習工具的軟體工程師」。

然後他們讓 Claude 找出書裡哪裡被改動過。模型只花了 22 秒,就準確挑出了這處破綻。

除了讀書,合作伙伴 AssemblyAI 還做了一個演示:他們把一段長達 6 小時的長播客轉錄成 5.8 萬詞的文本,直接餵給 Claude 進行總結和提問解答。

目前這個 100K 的視窗已經在 Anthropic 的 API 中上線,開發者可以直接呼叫。

扔掉切片,直接把整本書丟給 Prompt

能吞下整本書之後,最直接的改變就是工作流的簡化。

在此之前,處理超長文本往往依賴向量檢索(Vector Search)。但對於那些需要跨章節推導、宏觀對比的複雜問題,檢索片段往往會斷章取義。

現在使用者可以把幾份財務年報、幾十頁的法案條文,甚至一整個程式碼庫直接塞進單次提示詞裡。

你可以讓它跨法律文書對比不同當事人的論點,也能讓它在數百頁晦澀的開發文件裡翻找介面細節,或者直接在一個現有工程裡做快速原型修改。

對於需要從龐雜背景中綜合提煉資訊的人來說,這種互動更像是在和一個真的讀過全本材料的人類助手共事。

為什麼重要

我們認為,Anthropic 這一步走得非常實用,它直接把大模型的能力邊界從「短訊息對話」推向了「嚴肅辦公生產力」。

對企業和開發者來說,最大的價值在於大幅降低了資訊處理系統的架構複雜度。原來需要搭建向量資料庫、反覆調優文本切分粒度的檢索增強流程(RAG),在很多幾十頁到上百頁的業務場景裡,可以直接簡化為一次 API 呼叫的暴力輸入,省時又省心。

不過這也並不是萬能藥。把 100K tokens 塞進單次請求,API 的單次呼叫成本和延時必然會上升,對於高頻簡單的互動來說並不划算。

而且,雖然 Claude 在 7 萬多詞裡找特定改動表現驚人,但在極端複雜的長上下文裡,模型是否會在長篇大論中出現資訊遺忘或邏輯漂移,依然需要在各種垂直行業做深度驗證。

但不管怎樣,Anthropic 這一槍打響後,上下文長度的軍備競賽已經不可逆轉地開始了。它逼著市面上的其他模型供應商,必須儘快拿出能讀完大部頭材料的硬實力。

來源 (1)

  1. [1]
    anthropic.com(在新分頁開啟)原文anthropic.com

每日 AI 內容精選