키미, 2.8조 파라미터 MoE 모델 'Kimi K3' 오픈소스 공개

Kimi K3는 문샷 AI(Moonshot AI)가 허깅페이스에 가중치를 전면 공개한 대규모 MoE(Mixture-of-Experts) 모델입니다. 총 2.8조 개의 파라미터를 탑재하고 네이티브 시각 이해 능력과 100만 토큰에 달하는 컨텍스트 길이를 제공합니다.

방대한 분량의 텍스트나 고해상도 시각 자료를 안전한 자체 환경에서 처리하고 싶은 개발자에게 현재 오픈소스 진영에서 선택할 수 있는 가장 거대한 모델입니다.

무엇을 할 수 있는가

K3는 2.8조 파라미터라는 압도적인 규모에도 불구하고, MoE 구조를 채택해 실제 추론 시에는 1040억 개의 파라미터만 활성화합니다.

시각 정보 처리를 위해 자체 Moon VIC 비전 인코더를 모델 내부에 직접 통합했습니다. 기술 보고서에 따르면 연산 단위당 지능 효율이 기존 대비 2.5배 향상되어, 단순한 파라미터 부풀리기가 아닌 구조적 효율 개선을 이뤄냈습니다.

모델뿐만 아니라 지원 인프라도 함께 공개됐습니다. 고성능 어텐션 커널과 MoE 통신 라이브러리, 대규모 에이전트 환경 실행을 위한 인프라 도구가 오픈소스로 풀렸습니다.

어떻게 구동하는가

아키텍처 내부에는 장문 맥락 처리를 최적화하기 위해 독자 개발한 delta attention과 attention residuals 메커니즘이 적용됐습니다.

다만 하드웨어 진입 장벽은 매우 높습니다. 원본 가중치 파일의 크기는 약 1.56TB에 달해, 기본 정밀도로 구동하려면 다수의 엔터프라이즈급 GPU 클러스터가 필수적입니다.

오픈소스 커뮤니티의 압축 작업도 빠르게 진행 중입니다. Unsloth 등에서 내놓은 양자화 버전을 활용하면 1-bit GGUF 기준 용량이 약 594GB까지 줄어듭니다. 여전히 일반 PC에서는 불가능하지만 온프레미스 서버 환경에서는 현실적인 수준으로 내려온 셈입니다.

모델 가중치는 허깅페이스의 moonshotai/Kimi-K3 저장소에서 받을 수 있으며, 기술 보고서는 깃허브에서 확인할 수 있습니다.

왜 중요한가

충분한 인프라를 갖춘 기업이나 연구팀에게 K3는 상용 독점 API를 대체할 수 있는 가장 진보된 오픈소스 선택지입니다. 외부 유출 없이 내부 데이터만으로 100만 토큰 급의 멀티모달 에이전트를 구축할 수 있게 됐습니다.

반면 개인 개발자가 직접 로컬에서 실행하기에는 여전히 부담스러운 크기입니다. 우리는 이 모델 자체의 직접 배포뿐만 아니라, 함께 공개된 어텐션 커널과 MoE 최적화 라이브러리가 오픈소스 생태계 전반의 효율을 끌어올리는 계기가 될 것으로 봅니다.