미스트랄 AI, 'Mistral Large 2' 공개: 123B 매개변수로 GPT-4o급 코딩·추론 성능 구현

대형 언어 모델들이 수천억 단위로 덩치를 키우는 사이, 프랑스의 Mistral AI가 현실적인 효율성을 앞세운 플래그십 모델 Mistral Large 2를 공개했습니다.

이번 모델의 매개변수는 1230억 개(123B)로 책정되었습니다. 여러 대의 서버로 모델을 쪼갤 필요 없이, 단일 노드에서 높은 처리량으로 실행할 수 있도록 설계된 점이 가장 큰 특징입니다.

MMLU 벤치마크에서는 84.0%를 기록했습니다. Mistral에 따르면 코딩과 추론 영역에서 GPT-4o, Claude 3 Opus, 그리고 Meta가 최근 내놓은 Llama 3 405B와 대등한 수준의 성능을 발휘합니다.

단일 노드 환경에 최적화된 123B

Mistral Large 2의 컨텍스트 창은 기존 32k에서 128k 토큰으로 크게 늘어났습니다. 대규모 코드 저장소나 긴 기술 문서를 한 번에 입력해 분석하기에 충분한 크기입니다.

한국어, 영어, 프랑스어, 중국어, 일본어 등 다국어 지원이 한층 탄탄해졌으며, Python, Java, C++, Swift, Fortran을 포함한 80개 이상의 프로그래밍 언어를 처리할 수 있습니다.

또한 네이티브 JSON 출력 모드를 제공하고 병렬 및 순차적 함수 호출(Function Calling)을 지원해 복잡한 에이전트 시스템에 쉽게 연동할 수 있도록 했습니다.

환각 현상을 줄이기 위한 튜닝도 눈에 띕니다. 답변을 도출하기에 정보가 부족하거나 답을 찾지 못할 경우, 그럴듯한 거짓말을 꾸며내는 대신 정보가 없음을 인정하도록 훈련되었습니다.

벤치마크 점수를 올리기 위해 길고 불필요한 설명을 늘어놓는 대신, 간결하고 핵심적인 답변을 생성하도록 조정한 점도 특징입니다. 이를 통해 실제 서비스 운영 시 응답 속도를 높이고 추론 비용을 아낄 수 있습니다.

자체 플랫폼인 la Plateforme 외에도 Amazon Bedrock, Azure AI Studio, IBM watsonx.ai에서 사용할 수 있으며, 이번에 Google Cloud와 협력을 확대해 Vertex AI를 통한 매니지드 API로도 제공됩니다.

라이선스는 연구 및 비상업적 용도로 제한되는 Mistral Research License로 배포되었습니다. 기업이 자체 서버에 올려 상업적으로 활용하려면 별도의 상용 라이선스를 취득해야 합니다.

왜 중요한가

우리는 Mistral Large 2가 과도한 파라미터 경쟁 속에서 매우 영리한 실용주의를 보여줬다고 생각합니다.

400B 이상의 초대형 모델은 성능이 뛰어나지만, 대다수 기업 인프라로는 온프레미스 운영이나 자체 호스팅이 사실상 불가능합니다. 반면 123B 크기로 단일 노드 고처리량 추론을 구현한 Mistral의 접근은, 플래그십 성능을 원하면서도 인프라 비용을 통제해야 하는 실무진에게 매력적인 대안이 됩니다.

업계 관점에서도 모델 경쟁의 초점이 '단순 체급'에서 '비용 대비 성능'으로 이동하고 있음을 분명히 보여줍니다. 코드 비중을 크게 늘려 학습하고 답변 길이를 최적화함으로써 체급 차이를 극복할 수 있음을 입증했기 때문입니다.

다만 과거와 달리 Apache 2.0 라이선스가 아니라는 점은 한계입니다. 자체 호스팅 기반의 상용 서비스를 구축하려는 팀에게는 라이선스 비용이 추가 장벽이 될 수 있습니다. 그럼에도 주요 클라우드 API를 통해 최상위급 코딩 및 다국어 추론 성능을 경제적으로 활용하려는 개발자에게는 지금 즉시 검토해 볼 가치가 충분합니다.