신규 아키텍처 '타이탄스' 공개, 200만 토큰 이상 문맥과 장기 기억 지원

방대한 문서를 AI에 입력하고 정확한 답변을 얻는 작업은 항상 막대한 연산 비용을 수반했습니다. 트랜스포머의 어텐션 메커니즘은 정확하지만 비용이 기하급수적으로 증가하고, 순환 신경망은 정보를 고정된 상태로 압축하다 보니 이전 맥락을 쉽게 잊어버리는 한계가 있었습니다.

연구진은 이러한 딜레마를 해결하기 위한 신규 아키텍처 'Titans'를 담은 논문을 arXiv에 공개했습니다. 기억 체계를 둘로 나누어 빠른 속도를 유지하면서 문맥 창을 200만 토큰 이상으로 확장했습니다.

어텐션은 단기 기억으로, 테스트 시점 학습 신경망은 장기 기억으로

지난 10년간 모델 연구는 순환 모델과 어텐션 사이의 균형을 찾는 과정이었습니다. 어텐션은 모든 토큰 사이의 직접적인 의존성을 정확하게 포착하지만, 2차 비용 문제로 인해 다룰 수 있는 문맥 길이에 제약이 있었습니다.

Titans는 인간의 기억 메커니즘처럼 두 방식을 결합하는 영리한 해법을 제시합니다. 어텐션은 정확하지만 범위가 제한적인 특성을 살려 현재 문맥을 처리하는 '단기 기억'으로 사용합니다.

동시에 과거의 맥락을 스스로 기억하도록 학습하는 '신경망 장기 기억 모듈'을 새롭게 도입했습니다. 이 장기 기억은 테스트(추론) 시점에 지속적으로 정보를 학습해 저장해 두고, 어텐션이 과거 정보를 필요로 할 때 이를 효과적으로 전달합니다.

이 신경망 기억 모듈은 빠른 추론 속도를 유지할 뿐만 아니라 대규모 병렬 학습이 가능하다는 장점을 갖췄습니다. 연구진은 두 모듈을 최적으로 결합하기 위한 세 가지 Titans 변체 구조도 함께 공개했습니다.

200만 토큰 이상 확장, '건초더미 속 바늘 찾기'도 척척

두 기억 모듈의 결합 효과는 실험 결과로 입증되었습니다. 일반적인 언어 모델링과 상식 추론 과제에서 Titans는 표준 트랜스포머는 물론 최근 등장한 현대적 선형 순환 모델들보다 더 우수한 효율성을 보여주었습니다.

자연어 처리뿐만 아니라 긴 시퀀스 처리가 필수적인 유전체학(Genomics)과 시계열 데이터 분석 작업에서도 기존 모델들을 앞섰습니다.

특히 대규모 텍스트 속에서 숨겨진 단서를 찾는 '건초더미 속 바늘(needle-in-haystack)' 평가에서는 200만 토큰 이상의 컨텍스트 윈도우까지 성공적으로 확장하며, 기존 베이스라인 모델들보다 더 높은 검색 정확도를 기록했습니다.

왜 중요한가

수천 페이지의 코드베이스나 방대한 법률 문서, 유전체 데이터를 다루는 개발자와 연구자에게 Titans는 매우 매력적인 대안입니다. 트랜스포머 수준의 정밀한 정보 검색 능력을 유지하면서도 선형 모델의 빠른 처리 속도를 누릴 수 있기 때문입니다.

AI 업계 관점에서도 이번 연구는 긴 문맥을 구현하는 방식에 신선한 전환점을 제공합니다. 단순히 어텐션 연산을 희소화하거나 순수 상태 공간 모델에 의존하는 대신, 인지 구조처럼 단기 기억과 장기 기억을 모듈화해 역할을 나눈 선택은 매우 영리해 보입니다.

테스트 시점에 기억을 학습하는 장기 신경망 방식은 기술적으로 매우 우아하지만, 실제 상용화 환경에서 메모리 상태 관리와 다중 요청 처리 비용이 어떻게 작용할지는 향후 오픈소스 구현과 실증 검증을 지켜볼 필요가 있습니다.