서브쿼드라틱, 1200만 토큰 지원하는 'SubQ' LLM 공개

수백만 토큰에 달하는 방대한 데이터를 기존 트랜스포머 모델에 입력하면 연산 비용이 기하급수적으로 폭증합니다.

스타트업 Subquadratic은 이 연산 병목을 해결하기 위해 새로운 거대언어모델 SubQ를 공개했습니다.

불필요한 연산을 덜어낸 희소 어텐션

SubQ는 완전 서브쿼드래틱 희소 어텐션(SSA) 구조를 기반으로 설계된 모델입니다.

기존 트랜스포머는 단어 사이의 모든 관계를 연산하느라 연산량을 낭비하지만, SubQ는 의미 있는 핵심 관계만 선별해 집중합니다.

개발사 측은 이를 통해 연산량을 약 1000분의 1 수준으로 줄였다고 설명했습니다.

그 결과 SubQ는 최대 1200만 토큰의 컨텍스트 창을 지원하며, 100만 토큰 처리 시 FlashAttention보다 52배 빠르고 Opus 대비 5% 미만의 비용으로 구동된다고 밝혔습니다.

왜 중요한가

1200만 토큰 컨텍스트가 실시간에 가깝게 작동한다면 대규모 레거시 코드베이스나 수백 권 분량의 문서를 번거로운 RAG 분할 없이 한 번에 다룰 수 있습니다.

다만 희소 어텐션 방식은 연산량을 줄이는 대신 세부 정보를 정확히 찾아내는 바늘 찾기 능력이나 복잡한 다단계 추론에서 성능이 저하될 위험이 늘 존재합니다.

52배의 속도와 저렴한 비용은 인상적인 수치지만, 실제 업무 환경에서 복잡한 문맥을 얼마나 정밀하게 이해하는지는 독립적인 벤치마크 검증을 지켜볼 필요가 있습니다.