제트브레인, 12B MoE 오픈소스 모델 'Mellum2' 공개

Mellum2는 제트브레인(JetBrains)이 텍스트와 코드의 저지연 추론을 위해 처음부터 직접 학습시킨 12B 파라미터 규모의 오픈소스 혼합 전문가(MoE) 모델입니다.

모든 작업을 혼자 처리하는 거대 모델을 지향하는 대신, 프롬프트 라우팅, RAG 검색 문맥 압축, 서브 에이전트 검증, 고처리량 코드 보완처럼 호출 빈도가 높고 지연 시간에 민감한 작업에 초점을 맞췄습니다.

어떻게 2배 이상 빨라졌나

Mellum2의 핵심은 MoE 기반의 희소 활성화 구조입니다. 전체 파라미터는 12B에 달하지만, 토큰 하나를 처리할 때 활성화되는 파라미터는 2.5B에 불과합니다.

덕분에 12B 모델 수준의 지능을 유지하면서도 실제 계산량은 소형 모델 수준으로 줄였습니다. 제트브레인에 따르면 동급 크기의 기존 오픈 모델 대비 추론 속도가 2배 이상 빠릅니다.

또한 멀티모달 기능을 과감히 제외하고 텍스트와 코드 데이터로만 사전 학습을 진행했습니다. 소프트웨어 엔지니어링 작업에만 집중하도록 군더더기를 없앤 설계입니다.

코드 생성, 추론, 과학, 수학 벤치마크에서도 동급 오픈 모델과 대등한 성능을 내면서 처리량은 훨씬 높게 유지합니다.

어디에 쓸 수 있나

Mellum2는 여러 모델이 협업하는 시스템에서 가벼운 중간 컴포넌트 역할을 하도록 만들어졌습니다.

우선 라우팅과 오케스트레이션입니다. 프롬프트 의도 분류나 도구 선택 같은 제어 흐름을 맡겨 거대 모델의 불필요한 호출을 줄일 수 있습니다.

다음은 RAG 파이프라인입니다. 검색된 문서의 문맥 압축, 요약, 후처리 등 지연 시간에 민감한 검색 단계를 빠르게 처리합니다.

세 번째는 서브 에이전트 작업입니다. 계획 수립, 코드 문법 검증, 문맥 변환처럼 빈번하게 반복되는 중간 단계를 Mellum2가 전담할 수 있습니다.

아파치 2.0 라이선스로 배포되기 때문에 자체 서버나 프라이빗 인프라에 직접 올려 사내 독점 코드와 기밀 데이터를 다루기에도 적합합니다.

사용 방법

Mellum2 모델 가중치는 허깅페이스(Hugging Face)의 제트브레인 공식 컬렉션에서 바로 내려받을 수 있습니다.

상세한 모델 구조와 학습 설정, 벤치마크 평가 방식이 궁금하다면 아카이브에 공개된 기술 보고서(arXiv: 2605.31268)를 확인하면 됩니다.

왜 중요한가

우리는 Mellum2가 오픈소스 생태계에서 매우 실용적인 위치를 선점했다고 봅니다. 개발 환경에서는 몇 초 단위의 응답 지연도 생산성을 크게 떨어뜨리며, 모든 단계에 초거대 모델을 쓰는 것은 비용 면에서도 비효율적입니다.

사내 코드 기반 RAG나 자율 개발 에이전트를 구축하는 엔지니어링 팀이라면, Mellum2는 파이프라인의 속도를 끌어올리고 운영 비용을 크게 낮춰줄 훌륭한 조각이 될 것입니다.