샤오미, 코딩·추론 특화 오픈소스 MoE 모델 'MiMo-V2-Flash' 공개

MiMo-V2-Flash는 샤오미가 공개한 대규모 Mixture-of-Experts(MoE) 기반 모델입니다. 총 매개변수는 309B에 달하지만 실제 추론 시 활성화되는 매개변수는 15B로 제한되어 있어, 프로그래밍, 복합 추론, 에이전트 작업에 특화된 처리 능력을 보여줍니다.

핵심 기능과 벤치마크 결과

이 모델의 최대 강점은 소프트웨어 엔지니어링 실무입니다. 실제 코드베이스 해결 능력을 평가하는 SWE-bench Verified 및 다국어 벤치마크에서 오픈소스 모델 1위를 차지했으며, 최상위권 폐쇄형 상용 모델들과 대등한 수준의 성적을 기록했습니다.

수학 경시대회 벤치마크인 AIME 2025와 고급 과학 지식을 평가하는 GPQA-Diamond에서도 오픈소스 모델 중 상위 2위권에 올랐습니다.

개발자를 위한 실용적인 도구 지원도 충실합니다. 즉각적인 답변과 깊이 있는 추론 과정을 사용자가 선택할 수 있는 하이브리드 사고 모드를 지원합니다. 대화만으로 인터랙티브한 HTML 웹페이지를 만들어내며, Cursor, Cline, Claude Code 등 최신 바이브 코딩 환경과도 곧바로 연동됩니다. 256k 컨텍스트 윈도우를 갖춰 수백 회 이상의 도구 호출이 이어지는 복잡한 에이전트 작업도 안정적으로 처리합니다.

속도와 극적인 저비용의 배경

추론 속도는 초당 150토큰에 이릅니다. 가격 또한 100만 입력 토큰당 0.1달러, 100만 출력 토큰당 0.3달러로 매우 저렴하게 책정되었습니다.

이러한 처리 속도는 고유한 어텐션 설계 덕분입니다. 128토큰 크기의 슬라이딩 윈도우 어텐션(SWA)과 글로벌 어텐션을 5대 1 비율로 섞어 배치함으로써, KV 캐시 크기를 고정하고 메모리 대역폭 병목을 대폭 줄였습니다.

출력 단계에서는 멀티 토큰 예측(MTP) 기반의 자체 투기적 디코딩을 도입했습니다. 경량화된 보조 블록이 후보 토큰을 먼저 생성하고 주 모델이 이를 병렬 검증하는 방식으로, 실제 환경에서 2.0배에서 2.6배의 가속을 달성했습니다.

사후 학습 단계에서는 다중 교사 온라인 정책 증류(MOPD) 기법을 사용했습니다. 여러 전문 교사 모델로부터 세밀한 토큰 단위 보상을 전달받아 학습함으로써, 기존 강화학습 파이프라인의 50분의 1도 안 되는 연산 자원으로 최고 수준의 추론 성능을 끌어냈습니다.

사용 방법과 하드웨어 제약

샤오미는 가중치를 오픈소스로 배포함과 동시에 mimo.xiaomi.com 웹 플랫폼을 통해 서비스를 제공하고 있습니다. API를 발급받아 IDE 환경에 바로 연결해 쓸 수도 있습니다.

다만 토큰당 활성 매개변수가 15B라 하더라도 전체 모델 크기는 309B에 달합니다. 로컬 환경에서 자체 구동하려면 대규모 VRAM을 갖춘 엔터프라이즈급 장비가 필수적이라는 점은 염두에 두어야 합니다.

왜 중요한가

Cursor나 Cline 같은 AI 코딩 도구를 일상적으로 사용하는 개발자에게 MiMo-V2-Flash는 압도적인 가성비를 제공하는 대안이 됩니다. 수많은 컨텍스트를 소비하며 코드를 반복 검증하는 에이전트 워크플로에서 비용 부담을 극적으로 낮출 수 있습니다.

또한 대규모 MoE 모델이라도 어텐션 구조 최적화와 투기적 디코딩을 적절히 결합하면 소형 모델 수준의 비용과 속도를 달성할 수 있음을 증명했습니다. 오픈소스 코딩 에이전트 진영의 실용성을 한 단계 끌어올린 시도로 볼 수 있습니다.