跳到正文
IFAI

大模型

Anthropic 上线 100K 上下文:Claude 能一次吞下 7.5 万字

首次发布 传播指数 53

Anthropic 宣布将 Claude 的上下文窗口从 9K 扩展至 100K token,约合 7.5 万字。这意味着企业可以直接向 Claude 喂入上百页财报、技术文档或法案,并在不到一分钟内完成跨文本分析,目前已在 API 中上线。

Anthropic 上线 100K 上下文:Claude 能一次吞下 7.5 万字
图:anthropic.com

如果你之前试过把一份几十页的财报或者一整本技术手册扔给大模型,大概率遇到过「上下文超长」的报错。

当时大家应付这种局面的常规办法,是先把长文档切碎,存进向量数据库,等提问时再检索相关片段喂给模型。但切得太碎,模型往往就看不见全貌。

Anthropic 现在把这个限制彻底掀翻了。他们宣布将 Claude 的上下文窗口直接从 9K tokens 扩充到了 100K tokens,相当于一次性可以塞进去大约 7.5 万个英文单词,或者数百页的材料。

22 秒在一整本书里「找茬」

100K tokens 是个什么概念。普通人读完 10 万 tokens 的文本,大概需要 5 个多小时,这还不算理解、记忆和分析所花的时间。

Claude 处理同样体量的内容,耗时不到 1 分钟。

Anthropic 团队做了一个挺有意思的测试。他们把整本《了不起的盖茨比》(大概 7.2 万 tokens)一股脑塞进了 Claude-Instant 模型,只偷偷改动了其中一句话,把卡拉威先生描述成了「在 Anthropic 做机器学习工具的软件工程师」。

然后他们让 Claude 找出书里哪里被改动过。模型只花了 22 秒,就准确挑出了这处破绽。

除了读书,合作伙伴 AssemblyAI 还做了一个演示:他们把一段长达 6 小时的长播客转录成 5.8 万词的文本,直接喂给 Claude 进行总结和提问解答。

目前这个 100K 的窗口已经在 Anthropic 的 API 中上线,开发者可以直接调用。

扔掉切片,直接把整本书丢给 Prompt

能吞下整本书之后,最直接的改变就是工作流的简化。

在此之前,处理超长文本往往依赖向量检索(Vector Search)。但对于那些需要跨章节推导、宏观对比的复杂问题,检索片段往往会断章取义。

现在用户可以把几份财务年报、几十页的法案条文,甚至一整个代码库直接塞进单次提示词里。

你可以让它跨法律文书对比不同当事人的论点,也能让它在数百页晦涩的开发文档里翻找接口细节,或者直接在一个现有工程里做快速原型修改。

对于需要从庞杂背景中综合提炼信息的人来说,这种交互更像是在和一个真的读过全本材料的人类助手共事。

为什么重要

我们认为,Anthropic 这一步走得非常实用,它直接把大模型的能力边界从「短消息对话」推向了「严肃办公生产力」。

对企业和开发者来说,最大的价值在于大幅降低了信息处理系统的架构复杂度。原来需要搭建向量数据库、反复调优文本切分粒度的检索增强流程(RAG),在很多几十页到上百页的业务场景里,可以直接简化为一次 API 调用的暴力输入,省时又省心。

不过这也并不是万能药。把 100K tokens 塞进单次请求,API 的单次调用成本和延时必然会上升,对于高频简单的交互来说并不划算。

而且,虽然 Claude 在 7 万多词里找特定改动表现惊人,但在极端复杂的长上下文里,模型是否会在长篇大论中出现信息遗忘或逻辑漂移,依然需要在各种垂直行业做深度验证。

但不管怎样,Anthropic 这一枪打响后,上下文长度的军备竞赛已经不可逆转地开始了。它逼着市面上的其他模型供应商,必须尽快拿出能读完大部头材料的硬实力。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选