Googleが「Nested Learning」を発表：AIの「壊滅的忘却」を防ぐ新パラダイム

新しい語学を学んだからといって、昨日までの記憶がすべて消える人間はいません。しかし、現在のAIは平気でそれをやらかします。

大規模言語モデルは、事前学習で固定された静的な知識か、入力プロンプトのコンテキストウィンドウにある情報しか扱えません。新しいデータを継続的に学習させようとすると、古い知識を忘れてしまう「破滅的忘却」という根本的な問題に直面します。

Google Researchは11月7日、NeurIPS 2025で発表した論文に基づき、この課題を打破する新しい機械学習パラダイム「Nested Learning（ネスト学習）」を発表しました。

アーキテクチャと最適化の境界線をなくす

機械学習の世界では長年、ネットワーク構造を作るアーキテクチャと、それを学習させる最適化アルゴリズムは別物として扱われてきました。

Googleの研究チームは、この分断こそが継続学習を阻む原因だと指摘します。Nested Learningでは、モデル全体を互いに連動した多層の最適化問題の集合体とみなします。本質的にはアーキテクチャも最適化アルゴリズムも同じ概念であり、異なるのは情報の流れと重みの更新頻度だけだという考え方です。

この視点に立つと、オプティマイザ自体を連想記憶モジュールとして捉え直すことができます。一般的なオプティマイザが使う内積類似度ではなく、L2回帰損失のような標準的な指標をベースに再設計することで、ノイズの多いデータに対しても頑健なモメンタムの計算式を導き出しました。

連続記憶システムと自己改変アーキテクチャHope

従来のTransformerでは、短期記憶を担うアテンションと、長期記憶を蓄えるフィードフォワード層の二者択一でした。

Nested Learningではこれを拡張し、異なる更新頻度を持つモジュールのグラデーションで構成される「連続記憶システム（CMS）」を提案しています。

この実証モデルとして開発されたのが、自己改変型のリカレントアーキテクチャ「Hope」です。驚き度合いに応じて記憶を優先する既存のTitansアーキテクチャをベースにしながら、Hopeは自己言及プロセスを通じて自らの記憶を最適化し、無限の学習層を扱えるように設計されています。言語モデリングや長文検索のベンチマークにおいて、既存モデルを上回る精度と低いパープレキシティを実証しました。

なぜ重要か

開発者にとって、モデルをゼロから再学習させたり外部のRAGだけに頼ったりせず、稼働しながら賢くなる「真の継続学習」への扉が開かれた意味は大きいです。ただし、Hopeは現時点ではNeurIPSで発表された概念実証の段階であり、明日すぐに自分のプロダクトに組み込めるライブラリがあるわけではありません。

業界全体から見れば、コンテキスト長をひたすら伸ばすだけの力技競争に一石を投じるアプローチと言えます。記憶の更新頻度を多層化するアプローチが確立されれば、パーソナライズされたAIエージェントの運用コストは劇的に下がる可能性があります。

モデル構造と学習ルールを同一の最適化階層として統合した発想は、理論として非常にエレガントだと考えられます。一方で、自己改変を伴うループ構造は、超巨大パラメータ規模で分散学習させた際に数値的な不安定さを引き起こすリスクを常に抱えています。この数理的な美しさが、超大規模な実運用の荒波に耐えられるかどうかが今後の焦点になりそうです。