Google 提出 Nested Learning：打破架构与算法界限，专治大模型「健忘症」

人类学了新技能，不会转头就把昨天的记忆全忘光；但今天的 AI 却经常这样。

现在的语言模型，要么只能死记预训练时见过的静态数据，要么全靠当前对话窗口里的上下文。一旦试图给它塞新数据做持续微调，模型往往会出现「灾难性遗忘」，学了新的、丢了旧的。

Google Research 公布了一项发表在 NeurIPS 2025 上的新研究，提出了名为 Nested Learning（嵌套学习）的全新机器学习范式，试图从根本上解决这个问题。

把网络结构和训练算法看成同一件事

过去十几年，机器学习界一直有个心照不宣的分工：设计模型的架构师管网络怎么搭，算法工程师管优化器怎么调。两者被当成两码事来研究。

Google 研究团队认为，这种割裂正是持续学习做不好的根源。在嵌套学习视角下，网络架构和优化算法本质上是同一种东西，它们只是一组嵌套在一起、同时运行的多层级优化问题。

每个层级都有自己的信息流，区别只在于权重更新的频率快慢。更新极快的成了即时上下文，更新极慢的成了长期记忆。

顺着这个思路，研究团队发现优化器本身也可以看作一种联想记忆模块。很多传统优化器依赖简单的点积相似度，遇到不完美的数据容易不稳定。如果把优化目标改换成更标准的 L2 回归损失，核心概念如动量（Momentum）就会对脏数据具备更强的抵御能力。

连续记忆系统与自修改架构 Hope

在标准 Transformer 里，记忆结构非常两极化：序列模型负责当下的短期记忆，前馈网络负责存预训练带来的长期记忆，中间是一片空白。

嵌套学习则提出了「连续记忆系统」（CMS），把记忆打造成一个由不同更新频率组成的光谱。

为了验证这一套理论，团队基于此前聚焦惊喜度长记忆的 Titans 架构，设计了一个名为 Hope 的概念验证原型。Titans 只有两级参数更新，而 Hope 是一种自修改循环架构。

Hope 能利用无界的上下文学习层级，通过自引用过程来持续优化自身的记忆，形成无限循环的学习层级。在公共语言建模基准、常识推理以及测试长文本记忆的大海捞针（NIAH）实验中，Hope 都取得了更低的困惑度和更高的准确率。

为什么重要

对开发者和研究人员来说，这是一次对深度学习底层认知的大胆翻新。如果这种架构能走向实用，未来的模型可能不再需要动辄几千卡重新预训练，或者靠复杂的外部外挂记忆系统打补丁，而是能像生物大脑一样，在交互中无痛更新自己的核心知识。不过，目前 Hope 还只是 NeurIPS 上的概念验证架构，普通开发者短期内还没有现成的工具链去直接调用它。

对整个行业而言，这项研究切中了当前大模型最大的软肋之一：静态权重与动态真实世界之间的割裂。行业一直在长上下文窗口和外挂 RAG 之间摇摆，但这两种方案的算力成本都极高，Nested Learning 试图在模型原生架构内部建立多速率更新机制，为下一代端到端持续自进化模型指了一条新路。

我们认为，Google 这篇研究最聪明的地方在于把「模型长什么样」和「模型怎么学」融合成了一套统一的数学框架，视角极其优雅。但它的潜在隐患同样明显：自修改网络和无限嵌套优化的工程复杂度极高，在规模继续扩大到千亿参数时，能否保证训练收敛不发散、多层更新如何避免状态混乱，都需要在真正的超大规模工业场景里重新交卷。