Google 提出 Nested Learning：打破架構與演算法界限，專治大模型「健忘症」

人類學了新技能，不會轉頭就把昨天的記憶全忘光；但今天的 AI 卻經常這樣。

現在的語言模型，要麼只能死記預訓練時見過的靜態資料，要麼全靠當前對話窗口裡的上下文。一旦試圖給它塞新資料做持續微調，模型往往會出現「災難性遺忘」，學了新的、丟了舊的。

Google Research 公佈了一項發表在 NeurIPS 2025 上的新研究，提出了名為 Nested Learning（巢狀學習）的全新機器學習範式，試圖從根本上解決這個問題。

把網路結構和訓練演算法看成同一件事

過去十幾年，機器學習界一直有個心照不宣的分工：設計模型的架構師管網路怎麼搭，演算法工程師管最佳化器怎麼調。兩者被當成兩碼事來研究。

Google 研究團隊認為，這種割裂正是持續學習做不好的根源。在巢狀學習視角下，網路架構和最佳化演算法本質上是同一種東西，它們只是一組巢狀在一起、同時執行的多層級最佳化問題。

每個層級都有自己的資訊流，區別只在於權重更新的頻率快慢。更新極快的成了即時上下文，更新極慢的成了長期記憶。

順著這個思路，研究團隊發現最佳化器本身也可以看作一種聯想記憶模組。很多傳統最佳化器依賴簡單的點積相似度，遇到不完美的資料容易不穩定。如果把最佳化目標改換成更標準的 L2 迴歸損失，核心概念如動量（Momentum）就會對髒資料具備更強的抵禦能力。

連續記憶系統與自修改架構 Hope

在標準 Transformer 裡，記憶結構非常兩極化：序列模型負責當下的短期記憶，前饋網路負責存預訓練帶來的長期記憶，中間是一片空白。

巢狀學習則提出了「連續記憶系統」（CMS），把記憶打造成一個由不同更新頻率組成的光譜。

為了驗證這一套理論，團隊基於此前聚焦驚喜度長記憶的 Titans 架構，設計了一個名為 Hope 的概念驗證原型。Titans 只有兩級引數更新，而 Hope 是一種自修改迴圈架構。

Hope 能利用無界的上下文學習層級，通過自引用過程來持續最佳化自身的記憶，形成無限迴圈的學習層級。在公共語言建模基準、常識推理以及測試長文本記憶的大海撈針（NIAH）實驗中，Hope 都取得了更低的困惑度和更高的準確率。

為什麼重要

對開發者和研究人員來說，這是一次對深度學習底層認知的大膽翻新。如果這種架構能走向實用，未來的模型可能不再需要動輒幾千卡重新預訓練，或者靠複雜的外部外掛記憶系統打補丁，而是能像生物大腦一樣，在互動中無痛更新自己的核心知識。不過，目前 Hope 還只是 NeurIPS 上的概念驗證架構，普通開發者短期內還沒有現成的工具鏈去直接呼叫它。

對整個行業而言，這項研究切中了當前大模型最大的軟肋之一：靜態權重與動態真實世界之間的割裂。行業一直在長上下文視窗和外掛 RAG 之間搖擺，但這兩種方案的算力成本都極高，Nested Learning 試圖在模型原生架構內部建立多速率更新機制，為下一代端到端持續自進化模型指了一條新路。

我們認為，Google 這篇研究最聰明的地方在於把「模型長什麼樣」和「模型怎麼學」融合成了一套統一的數學框架，視角極其優雅。但它的潛在隱患同樣明顯：自修改網路和無限巢狀最佳化的工程複雜度極高，在規模繼續擴大到千億引數時，能否保證訓練收斂不發散、多層更新如何避免狀態混亂，都需要在真正的超大規模工業場景裡重新交卷。