구글, AI의 망각 현상 해결할 새 패러다임 '네스티드 러닝' 공개

새로운 외국어를 배운다고 해서 어제까지 알던 모국어를 전부 잊어버리는 사람은 없습니다. 하지만 지금의 AI는 바로 이런 망각을 겪습니다.

현재의 대형 언어 모델은 사전 학습 단계에서 굳어진 정적 지식이나, 프롬프트 입력창에 들어가는 즉각적인 컨텍스트에만 의존합니다. 새로운 지식을 계속 추가하려고 하면 기존에 알던 지식을 급격히 잃어버리는 파국적 망각 문제가 발생하기 때문입니다.

구글 리서치는 11월 7일, NeurIPS 2025에 채택된 논문을 통해 이 고질적인 문제를 해결하기 위한 새로운 머신러닝 패러다임인 네스티드 러닝(Nested Learning)을 공개했습니다.

모델 구조와 학습 알고리즘의 경계를 허물다

지난 수십 년간 딥러닝 연구는 네트워크 형태를 짜는 모델 아키텍처와, 가중치를 어떻게 갱신할지 결정하는 최적화 알고리즘을 분리된 별개의 영역으로 다뤄왔습니다.

구글 연구진은 이러한 이분법이 지속 학습을 가로막는 걸림돌이라고 봅니다. 네스티드 러닝에서는 전체 모델을 서로 연결되고 중첩된 다단계 최적화 문제들의 시스템으로 정의합니다. 즉 아키텍처와 옵티마이저는 본질적으로 같은 개념이며, 단지 가중치가 갱신되는 주기와 정보의 흐름 속도가 다를 뿐이라는 설명입니다.

이 관점을 적용하면 옵티마이저 자체를 연상 기억 모듈로 취급할 수 있습니다. 기존 옵티마이저가 자주 쓰는 단순 내적 유사도 대신 L2 회귀 손실 같은 표준 지표를 기반으로 목적 함수를 재구성함으로써, 데이터에 노이즈가 섞여 있어도 모멘텀이 안정적으로 작동하도록 개선했습니다.

연속 기억 시스템과 자기 수정형 구조 Hope

표준 트랜스포머는 단기 기억을 담당하는 시퀀스 모델과 장기 기억을 저장하는 피드포워드 신경망으로 양극화되어 있습니다.

네스티드 러닝은 이를 확장해 서로 다른 속도로 갱신되는 모듈들의 스펙트럼인 연속 기억 시스템(CMS)을 구축합니다.

연구팀은 이를 검증하기 위해 기존 타이탄스(Titans) 구조를 개량한 자기 수정형 순환 신경망 모델 Hope를 설계했습니다. 기존 모델이 2단계 매개변수 갱신에 그쳤던 반면, Hope는 자기 참조 과정을 통해 스스로의 기억을 최적화하며 무제한 수준의 인컨텍스트 학습을 수행합니다. 공공 벤치마크 실험 결과, Hope는 기존 언어 모델 대비 더 낮은 혼란도와 우수한 상식 추론 점수를 기록했고, 장문 검색(NIAH)에서도 뛰어난 기억 관리 성능을 입증했습니다.

왜 중요한가

연구자와 엔지니어 관점에서 이는 파국적 망각을 해결할 수 있는 매우 매력적인 대안입니다. 대규모 사전 학습을 매번 처음부터 다시 하거나 복잡한 외부 검색(RAG) 파이프라인에 의존하지 않고도, 상시 학습하는 AI 시스템의 가능성을 열었기 때문입니다. 다만 Hope는 현재 학술적인 개념 증명 단계이므로, 현업 개발자가 지금 즉시 가져다 쓸 수 있는 상용 API나 라이브러리 수준은 아닙니다.

업계 전반으로 보면, 무작정 컨텍스트 윈도우 크기만 늘리는 무차별 확장 경쟁에 새로운 패러다임을 제시했습니다. 모델 내부에서 다양한 주기로 지식을 갱신하는 체계가 안착한다면, 사용자 맞춤형 에이전트의 유지 및 서빙 비용을 획기적으로 낮출 수 있습니다.

우리가 보기에 모델 아키텍처와 최적화 규칙을 하나의 수학적 프레임워크로 통합한 접근은 매우 영리합니다. 하지만 자기 참조 방식의 다단계 갱신 구조는 파라미터가 수천억 개 단위로 커질 때 학습 수렴 안정성을 유지하기가 기술적으로 극히 까다롭습니다. 이 이론적 아름다움이 초대형 클러스터 환경의 실제 엔지니어링에서도 통할 수 있을지 검증하는 것이 다음 과제로 보입니다.