MS, 2.8조 파라미터 MoE 기반 모델 'MAI-Base-2' 사전 훈련 완료

마이크로소프트가 자체 인공지능 파운데이션 모델 개발에서 결정적인 결과물을 내놓았습니다.

마이크로소프트 AI 팀은 최신 대형 언어 모델인 MAI-Base-2의 사전 학습을 완료했다고 발표했습니다. 이 모델은 활성 파라미터 800억 개, 전체 파라미터 2조 8000억 개에 달하는 초대형 MoE(혼합 전문가) 모델입니다. 엔비디아의 GB200 GPU 16,000장을 투입해 단 38일 만에 사전 학습을 끝마쳤습니다.

38일 만에 완성한 연산 효율의 정점

조 단위 파라미터 모델을 훈련할 때 가장 중요한 것은 연산 낭비를 얼마나 줄이느냐입니다.

마이크로소프트에 따르면 이번 훈련 과정의 평균 MFU(모델 FLOPs 활용도)는 21%에 달했고, 실제 유효 학습 시간 비율(goodput)은 89%를 기록했습니다. 데이터 오염을 막기 위해 외부 공급업체를 통해 평가용 벤치마크를 새로 제작하고 학습 데이터와 대조해 중복을 철저히 제거했습니다.

그 결과 MAI-Base-2는 DeepSeek-V4-Pro-Base를 비롯해 공개된 주요 베이스 모델들을 테스트 평가에서 모두 앞질렀습니다. 같은 성능에 도달하는 데 필요한 연산 효율을 비교하면, DeepSeek-V4-Pro-Base보다 FLOPs 효율이 4.2배에서 최대 12.3배 높았습니다.

이러한 효율성은 소규모 실험 데이터를 대형 모델에 정확하게 투영하는 '소스 스케일링' 기법과 하이퍼파라미터 스케일링 법칙, 그리고 인프라와 MoE 모델 아키텍처를 맞춤형으로 공동 설계한 덕분입니다. 특히 타사 모델의 데이터를 증류하지 않고 순수한 자체 수집 데이터로만 학습했다는 점을 분명히 했습니다.

마이크로소프트는 향후 파운드리(Foundry) 플랫폼을 통해 검증된 기업 고객에게 이 모델의 가중치를 직접 라이선스 형태로 공급할 계획입니다.

왜 중요한가

이번 발표는 마이크로소프트가 외부 파트너십에만 의존하지 않고 자체적인 프론티어급 사전 학습 능력을 완전히 확보했음을 보여줍니다.

기업 고객 관점에서 가장 매력적인 지점은 투명한 데이터 출처입니다. 최근 글로벌 기업들은 저작권 소송이나 무단 증류 데이터로 인한 법적 리스크에 극도로 민감합니다. 다른 모델을 베끼지 않은 청정 데이터로 훈련되었고 모델 가중치까지 직접 라이선스받을 수 있다는 점은 금융, 의료, 엔터프라이즈 시장에서 강력한 무기가 됩니다.

업계 전반으로 봐도 16,000장의 최신 GPU를 38일간 안정적으로 묶어 2.8조 파라미터를 뽑아낸 엔지니어링 역량은 경쟁사들에게 적잖은 충격을 줄 것으로 보입니다.

접근 방식 자체는 매우 영리했습니다. 막대한 연산 자원을 무작정 태우기 전에 철저한 스케일링 법칙으로 최적값을 계산해 효율을 극대화했기 때문입니다. 다만 MAI-Base-2는 이제 막 사전 학습을 마치고 사후 학습(post-training) 단계에 들어갔습니다. 손실 함수가 낮고 연산 효율이 뛰어나다는 것이 곧바로 실제 업무 지능이나 에이전트 수행 능력으로 직결되는 것은 아닌 만큼, 최종 사후 학습 버전이 나올 때까지는 냉정하게 지켜볼 필요가 있습니다.