Kimi K3.1 Pro: 2.8조 파라미터 멀티모달 모델 가중치 전격 공개

수십 기가바이트 수준의 오픈소스 모델에는 익숙해졌지만, 1.56TB에 달하는 가중치를 한 번에 내려받는 일은 여전히 드문 광경입니다.

문샷 AI가 약속대로 Kimi K3.1 Pro의 전체 모델 가중치를 허깅페이스에 전격 공개했습니다. 새롭게 선보이는 K3.1 시리즈의 첫 주자이자, 오픈 모델 생태계에서 가장 거대한 규모를 자랑하는 멀티모달 모델입니다.

이 정도 체급의 모델을 학습시키려면 수백만 달러의 비용과 막대한 인프라가 투입됩니다. 이를 조건 없이 공개 저장소에 올린 결정에 글로벌 AI 엔지니어들의 시선이 쏠리고 있습니다.

2.8조 파라미터와 효율적인 MoE 설계

Kimi K3.1 Pro는 혼합 전문가 구조를 기반으로 설계되었으며, 총 파라미터 수는 2.8조 개에 달합니다.

추론 시에는 전체가 한꺼번에 도는 대신 토큰당 1040억 개의 파라미터만 선별적으로 활성화해 연산 효율을 챙겼습니다.

지원하는 컨텍스트 창은 100만 토큰에 이릅니다. 장문 맥락 처리를 위해 전체 93개 레이어 중 24개 레이어에 Gated DSA 희소 어텐션 방식을 도입했습니다.

자체 개발한 401M 파라미터 기반의 MoonViT-V2 비전 인코더를 탑재해 네이티브 멀티모달을 지원하며, MXFP4 가중치와 MXFP8 활성화 기반의 양자화 학습도 적용되었습니다.

터미널 벤치마크와 SWE 마라톤 등 코딩 및 에이전트 평가 전반에서 GPT-6 Astra나 클로드 오퍼스 5.5 같은 정상급 상용 모델과 대등한 점수를 기록하고 있습니다.

1.56TB의 압도적 크기와 인프라 장벽

성능은 확실하지만 누구나 로컬 컴퓨터에서 띄울 수 있는 장난감은 아닙니다.

전체 가중치 용량만 1.56TB에 이르기 때문에 일반 소비자용 GPU는 물론 웬만한 워크스테이션으로도 구동하기 어렵습니다.

대신 대규모 클러스터를 보유한 기업을 위해 vLLM과 SGLang 서빙 명령어, 그리고 전용 도커 이미지가 함께 배포되었습니다.

개인 연구자나 일반 개발자라면 모델을 직접 내려받기보다는 허깅챗이나 상용 클라우드 API를 통해 접근하는 편이 현실적입니다.

왜 중요한가

사내 보안과 데이터 주권이 중요한 기업에게 이 모델의 가치는 매우 큽니다. 외부 클라우드에 핵심 코드를 전송하지 않고도 최고 수준의 코딩 에이전트와 긴 문서 분석 모델을 온프레미스 클러스터에 직접 올릴 수 있게 되었습니다.

산업 전반으로 보면 오픈 모델의 상한선이 단숨에 3조 파라미터급 영역으로 확장되었습니다. 최상위 추론 성능은 폐쇄형 API의 전유물이라는 인식을 깨뜨리고, 오픈 진영의 경쟁력을 상용 대기업 수준으로 끌어올렸습니다.

문샷 AI의 전략은 영리해 보입니다. 천문학적인 비용이 들어간 모델을 과감히 풀어 개발자 생태계의 주도권을 쥐는 동시에, 높은 하드웨어 장벽을 바탕으로 엔터프라이즈 지원 및 클라우드 인프라 수요를 자연스럽게 흡수할 수 있는 발판을 마련했습니다.