미스트랄 CEO, GPT-4급 오픈소스 모델 'miqu-1-70b' 유출 공식 인정

miqu-1-70b는 오픈AI의 플래그십 모델인 GPT-4 수준에 근접하는 추론과 텍스트 생성 성능을 갖춘 700억 파라미터(70B) 대형 언어 모델입니다.

이 모델은 'Miqu Dev'라는 사용자가 허깅페이스에 올린 뒤 4chan과 X를 통해 빠르게 확산되었습니다. 2024년 1월 31일, 미스트랄 AI의 아서 멘슈 CEO는 해당 모델이 메타의 라마 2(Llama 2)를 기반으로 직접 재학습했던 자사의 구형 체크포인트가 맞다고 X를 통해 확인했습니다. 초기 접근 권한을 가진 고객사 직원이 실수로 유출한 것입니다.

주요 기능과 벤치마크 결과

miqu-1-70b는 고난도 언어 작업을 처리할 수 있으며 프롬프트 형식은 기존 미스트랄 모델들과 동일합니다.

커뮤니티의 벤치마크 결과는 놀라웠습니다. 모델의 언어 능력을 평가하는 EQ-Bench에서 상용 최강 모델이던 GPT-4에 바짝 다가서는 점수를 기록했습니다.

대다수 일반 테스트에서도 미스트랄의 대표 오픈소스 모델인 Mixtral 8x7b를 넘어서거나 대등한 성능을 보였고, 일부 지표에서는 미스트랄 미디엄(Mistral Medium)마저 앞질렀습니다. 사실상 GPT-4를 제외한 대부분의 언어 모델을 상회했습니다.

구현 방식과 필요 하드웨어

이 모델은 라마 2 70B를 기반으로 미스트랄 팀이 자체 클러스터에서 재학습시킨 모델입니다. 아서 멘슈에 따르면 사전 학습은 첫 모델인 Mistral 7B가 출시되던 날 이미 완료된 상태였습니다.

최초 유출본은 용량을 줄인 양자화(Quantized) 버전이었으며 워터마크가 포함되어 있었습니다. JP모건의 머신러닝 연구원 막심 라본은 커뮤니티가 비양자화 복원 버전까지 만들어냈다고 전했습니다.

로컬 환경에서 양자화 모델을 원활하게 구동하려면 최소 48GB 이상의 VRAM을 갖춘 듀얼 GPU 시스템이나 고용량 통합 메모리를 탑재한 애플 실리콘 맥이 필요합니다.

다운로드 경로와 사용 주의점

현재 이 모델의 파일은 허깅페이스에 남아 있어 로컬 추론 툴로 내려받아 실행해 볼 수 있습니다.

미스트랄은 삭제 요청을 보내지 않았으며, 멘슈 CEO는 게시물에 '출처 표기를 고려해 달라'는 농담 섞인 댓글을 남기기도 했습니다.

다만 공식 배포본이 아니라는 점에 유의해야 합니다. 상용 오픈소스 라이선스가 없으며 워터마크가 찍힌 유출 가중치이므로 기업 환경에서 프로덕션 용도로 쓰는 것은 라이선스 위험이 따릅니다.

왜 중요한가

miqu-1-70b는 라마 2 기반의 세심한 재학습만으로도 70B 모델이 폐쇄형 프론티어 모델의 턱밑까지 따라갈 수 있음을 증명했습니다.

고성능 로컬 장비를 갖추고 외부 API 의존 없이 최고 수준의 추론 성능을 테스트해보고 싶은 개발자라면 충분히 돌려볼 만합니다. 다만 비즈니스 적용은 정식 라이선스가 부여될 후속 모델을 기다리는 편이 안전합니다.