신규 아키텍처 '타이탄스' 공개, 200만 토큰 이상 문맥과 장기 기억 지원
연구진이 새로운 모델 아키텍처 'Titans'를 arXiv에 공개했다. 어텐션을 단기 기억으로, 테스트 시점에 학습하는 신경망을 장기 기억으로 결합해 빠른 훈련과 추론 속도를 유지하면서 200만 토큰 이상의 컨텍스트를 지원한다.
연구진이 새로운 모델 아키텍처 'Titans'를 arXiv에 공개했다. 어텐션을 단기 기억으로, 테스트 시점에 학습하는 신경망을 장기 기억으로 결합해 빠른 훈련과 추론 속도를 유지하면서 200만 토큰 이상의 컨텍스트를 지원한다.