텐센트, 훈위안 터보S 공개: 맘바 하이브리드로 추론 비용 7분의 1 절감

순수 트랜스포머 아키텍처에서 긴 문맥을 처리할 때 발생하는 메모리와 연산 비용 문제는 생성형 AI 업계의 오랜 고민거리였습니다. 텐센트 훈위안(Hunyuan)은 3월 10일, 트랜스포머와 맘바(Mamba)를 결합한 초대형 하이브리드 MoE 모델 'Hunyuan-TurboS'를 공개했습니다.

이 모델은 긴 시퀀스를 효율적으로 처리하는 맘바의 장점과 문맥 이해력이 뛰어난 트랜스포머의 장점을 합쳤습니다. 이를 통해 긴 텍스트 학습과 추론 과정에서 발생하는 O(N²) 복잡도와 KV 캐시 급증 문제를 정면으로 겨냥했습니다.

하이브리드 아키텍처로 추론 비용 7분의 1 절감

텐센트가 공개한 벤치마크 결과에 따르면, TurboS는 수학, 추론, 정렬(Alignment) 항목에서 GPT-4o(0806) 및 딥시크-V3(DeepSeek-V3)를 넘어섰으며, MMLU-Pro 등 지식 기반 테스트에서도 경쟁력을 보였습니다.

가장 체감되는 부분은 비용 절감입니다. 텐센트는 이전 터보 모델과 비교해 추론 비용을 7분의 1 수준으로 대폭 낮췄다고 밝혔습니다.

사후 학습 단계에서는 수학과 코딩 성능을 높이기 위해 슬로우 씽킹(Slow-thinking) 기법을 적용했고, 코드 샌드박스 피드백과 생성형 보상 시스템을 도입해 보상 해킹을 방지했습니다.

왜 중요한가

우리는 훈위안이 단순히 점수를 올리는 데 그치지 않고, 대규모 프로덕션 모델에서 구조 자체를 하이브리드로 과감하게 바꿨다는 점에 주목합니다.

대다수 기업이 순수 트랜스포머 안에서 긴 문맥을 버텨내려 애쓰는 상황에서, 맘바와 MoE를 섞어 추론 단가를 7분의 1로 줄인 전략은 롱컨텍스트 워크플로를 다루는 개발자에게 매력적인 대안이 될 수 있습니다.

다만 공식 벤치마크 점수가 실제 서비스 환경에서의 검색 정확도나 장문 일관성을 완벽히 보장하는 것은 아닙니다. 실제 엔터프라이즈 환경에서 하이브리드 구조가 얼마나 안정적으로 작동할지는 추가적인 외부 검증이 필요합니다.