알리바바, Qwen3-Next-80B-A3B 공개: 80B 모델서 3B만 활성화해 추론 10배 가속

80B 체급을 단 3B 연산량으로 구동

대규모 모델을 서비스할 때 가장 큰 걸림돌은 단연 연산 비용이다. 알리바바의 Qwen 팀은 극단적인 효율성을 앞세운 신규 모델 Qwen3-Next-80B-A3B를 선보였다.

전체 파라미터는 800억 개에 달하지만, 토큰당 활성화되는 파라미터는 30억 개에 불과하다. 공식 발표에 따르면 Qwen3-32B 대비 훈련 비용은 10분의 1로 줄었고, 추론 속도는 10배 빨라졌다. 특히 32K 이상의 긴 문맥 처리에서 속도 향상이 두드러진다.

기술적으로는 Gated DeltaNet과 Gated Attention을 결합한 하이브리드 아키텍처를 적용했다. 여기에 512개 전문가 중 10개 라우팅 전문가와 1개 공유 전문가만 선택하는 초희소 MoE 구조 및 멀티 토큰 예측을 더했다. Instruct 모델은 자사 235B 플래그십 수준에 근접하며, Thinking 모델은 Gemini-2.5-Flash-Thinking을 넘어선다고 밝혔다.

왜 중요한가

우리는 이번 모델이 초희소 아키텍처의 실용성을 한 단계 끌어올렸다고 평가한다. 단 3B 수준의 연산 부하로 80B 규모의 추론 능력을 쓸 수 있다면, 인프라 비용 부담이 큰 개발자와 엔터프라이즈에 매우 매력적인 대안이 된다.

업계 측면에서도 대규모 전문가 MoE와 선형 어텐션의 결합이 긴 문맥과 처리 속도를 동시에 잡을 수 있음을 입증했다.

다만 512개에 달하는 전문가를 메모리 대역폭 병목 없이 서빙하는 일은 까다롭다. 알리바바의 자체 최적화 환경을 벗어나 온프레미스나 일반 클라우드에서 실제로 10배 속도를 온전히 낼 수 있을지는 검증이 필요해 보인다.