사카나 AI, 트랜스포머용 범용 메모리 모델 공개…선택적 망각으로 효율 극대화
사카나 AI는 인간의 기억 메커니즘을 모방해 불필요한 토큰을 능동적으로 잊는 '신경 주의집중 메모리 모델(NAMM)'을 발표했다. 진화 알고리즘으로 최적화되어 메모리 사용량을 줄이면서 장문 추론 성능을 높이며, 추가 학습 없이 비전과 강화학습 모델로도 제로샷 전이가 가능하다.
사카나 AI는 인간의 기억 메커니즘을 모방해 불필요한 토큰을 능동적으로 잊는 '신경 주의집중 메모리 모델(NAMM)'을 발표했다. 진화 알고리즘으로 최적화되어 메모리 사용량을 줄이면서 장문 추론 성능을 높이며, 추가 학습 없이 비전과 강화학습 모델로도 제로샷 전이가 가능하다.