구글, AI의 망각 현상 해결할 새 패러다임 '네스티드 러닝' 공개
Google Research는 모델의 '치명적 망각' 문제를 해결하기 위한 새 머신러닝 패러다임 '네스티드 러닝(Nested Learning)'을 발표했다. 모델 구조와 최적화 알고리즘을 다양한 업데이트 주기를 가진 다층 최적화 문제로 통합했으며, 이를 적용한 'Hope' 아키텍처는 기존 트랜스포머 대비 뛰어난 장문 맥락 기억 능력을 입증했다.
Google Research는 모델의 '치명적 망각' 문제를 해결하기 위한 새 머신러닝 패러다임 '네스티드 러닝(Nested Learning)'을 발표했다. 모델 구조와 최적화 알고리즘을 다양한 업데이트 주기를 가진 다층 최적화 문제로 통합했으며, 이를 적용한 'Hope' 아키텍처는 기존 트랜스포머 대비 뛰어난 장문 맥락 기억 능력을 입증했다.