미스트랄 AI, 맘바 기반 오픈소스 코드 모델 '코드스트랄 맘바' 공개

코드스트랄 맘바(Codestral Mamba)는 미스트랄 AI가 맘바(Mamba) 아키텍처 원작자인 앨버트 구(Albert Gu) 및 트리 다오(Tri Dao)와 손잡고 개발한 오픈소스 코드 모델이다. 파라미터 수는 약 73억 개(정확히 7,285,403,648개)로, 방대한 코드베이스를 지연 없이 로컬에서 처리하도록 설계되었다.

업계 표준인 트랜스포머 대신 상태 공간 모델 기반의 맘바 아키텍처를 채택했다. 이를 통해 입력 길이에 비례해 연산 시간이 늘어나는 선형 시간 추론을 지원하며, 이론적으로 무한한 길이의 시퀀스를 처리하면서도 입력 길이에 상관없이 빠른 응답 속도를 유지한다.

무엇을 할 수 있나

프로젝트 전체 소스코드나 긴 로그 파일을 모델에 통째로 넣고 분석해야 하는 개발자에게 최적화되어 있다. 미스트랄의 테스트 결과에 따르면, 이 모델은 최대 256k 토큰에 달하는 긴 문맥 검색을 안정적으로 수행한다.

기존 트랜스포머 모델에서 256k 길이의 프롬프트는 심각한 연산 지연과 메모리 병목을 유발했다. 반면 맘바 아키텍처는 컨텍스트가 극단적으로 길어져도 일정한 추론 속도를 보여준다.

코딩 및 추론 성능 역시 집중적으로 훈련되어, 동급의 최첨단 트랜스포머 기반 모델들과 대등한 성능을 제공한다. 개발자의 로컬 환경에서 상시 구동되는 인공지능 코딩 어시스턴트를 목표로 한다.

어떻게 실행하나

코드스트랄 맘바는 완전한 아파치 2.0(Apache 2.0) 라이선스로 공개되었다. 사용 제한이 걸려 있던 기존 코드스트랄 22B와 달리, 상업적 배포를 포함해 누구나 무료로 수정하고 배포할 수 있다.

명령어 미세조정이 완료된 원본 가중치는 허깅페이스에서 즉시 내려받을 수 있다.

배포를 위해서는 공식 맘바 깃허브 구현을 활용하는 mistral-inference SDK를 사용할 수 있으며, 텐서RT-LLM(TensorRT-LLM)을 통한 고성능 서빙도 지원한다.

가벼운 로컬 실행을 선호하는 사용자라면 llama.cpp의 지원 작업을 주목할 필요가 있다. 로컬 세팅 없이 바로 성능을 확인하고 싶다면 미스트랄의 클라우드 플랫폼인 라 플랫포름(la Plateforme)에서 codestral-mamba-2407 엔드포인트를 호출해 테스트할 수 있다.

왜 중요한가

로컬 환경에서 코드 프라이버시를 지키면서 방대한 프로젝트 코드를 다뤄야 하는 개발자라면 즉시 도입을 검토해 볼 만하다. 트랜스포머 기반 모델의 고질병인 긴 문맥 지연 문제를 구조적으로 해결하면서 256k 토큰 처리를 실용적인 속도로 끌어내렸다.

업계 전반으로 봐도 의미가 크다. 학계 연구에 머물던 맘바 구조를 유력 AI 기업이 실전용 7B급 코드 모델로 훈련해 완전한 오픈소스로 내놓은 첫 사례에 가깝다. 이는 트랜스포머 중심으로 굳어져 있던 오픈소스 로컬 AI 생태계가 차세대 비(非)트랜스포머 모델을 적극적으로 수용하게 만드는 계기가 될 것이다.