서브쿼드라틱, 1200만 토큰 지원하는 'SubQ' LLM 공개
서브쿼드라틱이 희소 어텐션 아키텍처 기반의 대형 언어 모델 'SubQ'를 공개했다. 1200만 토큰의 컨텍스트 길이를 지원하며, 1MM 토큰에서 FlashAttention 대비 52배 빠르고 Opus의 5% 미만 비용으로 연산량을 약 1,000배 절감한다.
서브쿼드라틱이 희소 어텐션 아키텍처 기반의 대형 언어 모델 'SubQ'를 공개했다. 1200만 토큰의 컨텍스트 길이를 지원하며, 1MM 토큰에서 FlashAttention 대비 52배 빠르고 Opus의 5% 미만 비용으로 연산량을 약 1,000배 절감한다.