Epoch AI 分析：超长上下文推理如何破解持续学习与 RL 瓶颈

大家聊起长上下文，第一反应往往是「能塞进几本书」或者「一次读完整个代码库」。比如现在的 Gemini 2.5 Pro 拥有 100 万 token 上下文，足够装下十本《哈利·波特与魔法石》。

但研究机构 Epoch AI 最近指出，如果我们只把上下文当成越来越大的收纳箱，那就完全看轻它了。上下文长度目前正以每年 30 倍的速度膨胀，一旦它跨过千万甚至百亿 token 的门槛，大模型的底层工作逻辑都会被彻底颠覆。

别只拿长上下文装文档，它是「外挂记忆」

大模型落地最头疼的问题之一，是它学不会「持续成长」。模型发布之后权重就冻结了，无法在多轮交互或长期任务中积累隐性经验，常常在长对话里对着同一个错误死磕，逼得用户只能关掉窗口重新开一轮。

根本原因之一是现在的窗口根本不够记事。如果你让 AI 像人类一样通过屏幕截图来操作电脑，100 万 token 的容量其实只够它工作半小时。但如果窗口拉大到 1000 万 token，它就能记录约 6 个小时的完整操作；拉大到 100 亿 token，相当于能装下整整 8 个月的工作经历。如果仅靠文本和音频，大约 4000 万 token 就能承载数月的工作积累。

有了这么大的空间，模型就能直接靠上下文来学习。Cursor 团队的 Aman Sanger 和知名学者 Andrej Karpathy 都曾讨论过类似路径。

大模型甚至可以在闲暇时用「睡眠算力」做深度整理，在后台把最近经历的各种信息梳理打通，或者把学到的工作经验压缩存进 KV cache 中，变成真正属于它自己的长期记忆。

推理越长，强化学习越能往深处走

除了充当记忆，超长上下文还是接下来强化学习继续向外扩展的核心基石。随着推理模型兴起，AI 解决单项任务的输出越来越长，需要更长的推理轨迹去探索复杂难题。

在很多现实科研任务中，模型可能要花几个星期构思假设、设计实验，中途很难得到正反馈。为了在这种奖励极度稀疏的环境里找到正确答案，系统必须支持极长步数的推理展开，并且能够跑海量分支。

超长上下文还能帮 AI 打造更严密的「裁判员」。比如 OpenAI 在训练后续模型时使用的通用验证器，就需要极长的思维链去核验模型的长输出。

像 Kimi K2 在后训练阶段，就结合 MCP 协议用大模型自动合成了大量工具、任务和交互记录。未来要构建更高质量的强化学习虚拟环境，同样少不了这种长链路推理的支持。

但这套打法面临两个非常现实的物理墙。一个是研发迭代变慢，OpenAI 研究员 Noam Brown 之前在播客中直言，当模型思考需要数小时甚至几天时，研究人员必须等结果出来才能决定下一步，无法像以前那样即时迭代。另一个就是成本，计算过于昂贵会导致它无法商用，Google DeepMind 就曾因成本考量没有对外放出千万级上下文版本。

为什么重要

对开发者和企业来说，这一判断指出了智能体落地的真实瓶颈。现在的 AI Agent 看起来笨拙，本质上是因为工作记忆太短，稍微复杂点的业务就容易在上下文里迷路脱轨，就像基准测试里 AI 经营自动售货机很快亏光钱一样。一旦长上下文推理变得廉价，打造能持续工作数月且越用越顺手的数字员工才真正成为可能，但在此之前，盲目依赖纯提示词维持长期任务并不划算。

对整个行业而言，模型竞争的重心正在从预训练数据量转向推理阶段的长链博弈。谁能把长上下文推理的吞吐做上去、把推理成本打下来，谁就能率先解锁长时间尺度的复杂科研与工程自动化。

我们认为，Epoch AI 把长上下文定义为「持续学习和强化学习的基础设施」非常敏锐。但它的隐患在于把希望过分寄托在算力成本的线性下降上，如果模型在上下文中间丢失重点或产生幻觉的本征缺陷无法靠算法根本解决，单纯把窗口堆到百亿 token，可能只会让 AI 在更大规模的混乱记忆里翻车。