문샷 AI, 1조 파라미터 오픈소스 모델 'Kimi K2' 공개

Kimi K2는 문샷 AI가 오픈소스로 공개한 혼합 전문가(MoE) 구조의 대형 언어 모델이다. 전체 파라미터 수는 1조 개이며, 추론 시에는 320억 개 파라미터만 활성화된다. 단순 대화형 챗봇을 넘어 도구 호출과 코드 실행을 바탕으로 복잡한 작업을 스스로 완수하는 자율 에이전트 능력에 초점을 맞췄다.

모델은 연구자와 개발자를 위한 파운데이션 모델과 대화 및 에이전트 작업에 맞춘 인스트럭션 튜닝 버전 Kimi K2-Instruct 두 가지로 배포된다.

벤치마크 성능과 처리 역량

실전 코딩 능력을 측정하는 LiveCodeBench에서 Kimi K2는 53.7%를 기록하며 DeepSeek-V3(46.9%)와 GPT-4.1(44.7%)을 모두 앞섰다.

소프트웨어 엔지니어링 벤치마크인 SWE-bench Verified에서는 65.8%의 해결률을 기록해 상용 폐쇄형 모델 수준의 역량을 보였다.

수학적 추론 역량을 검증하는 MATH-500 벤치마크에서도 97.4%를 기록하며 GPT-4.1의 92.4%를 상회했다.

1조 파라미터를 안정화한 MuonClip 기법

1조 개 파라미터 모델을 학습할 때는 연산이 튀어 학습이 중단되는 문제가 잦고 막대한 비용 손실을 부른다.

문샷 AI는 통상적인 AdamW 계열 대신 MuonClip이라는 독자 옵티마이저를 적용했다. 쿼리와 키 프로젝션의 가중치 행렬을 재조정해 어텐션 로짓 폭주를 잡아냈으며, 1조 개 모델 학습을 안정적으로 마쳤다고 밝혔다.

오픈소스 가중치 배포와 함께 API 서비스도 출시되었다. 캐시가 적용된 입력 토큰은 100만 개당 0.15달러, 출력 토큰은 2.50달러로 매우 저렴하게 책정됐다.

왜 중요한가

소프트웨어 자동화 도구나 자체 자율 에이전트 파이프라인을 구축하려는 개발자라면 Kimi K2를 적극적으로 시험해 볼 만하다. 최고 수준의 코딩과 도구 연동 역량을 폐쇄형 플랫폼 종속 없이 가져올 수 있기 때문이다.

우리는 이번 공개가 고성능 에이전트 기술의 가격 장벽을 허무는 계기가 될 것으로 본다. 오픈소스 진영이 상용 폐쇄형 모델의 코딩 성능을 따라잡고 API 단가까지 크게 낮추면서 기존 독점 기업들이 가격 전략을 재검토해야 할 압박을 받게 되었다.