MS, 2.8조 파라미터 MoE 기반 모델 'MAI-Base-2' 사전 훈련 완료
마이크로소프트가 차세대 MoE 모델 'MAI-Base-2'의 사전 훈련을 마쳤다고 발표했다. 활성 파라미터 80B, 총 2.8T 파라미터 규모로 16k대의 GB200 GPU를 사용해 38일 만에 훈련됐다. 타 모델 증류 없이 자체 데이터로 구축됐으며, DeepSeek-V4-Pro-Base 대비 최대 12배 높은 FLOPs 효율을 기록했다. 가중치는 추후 Foundry를 통해 기업에 라이선스될 예정이며 현재 사후 훈련이 진행 중이다.