마이크로소프트, 140억 매개변수 '파이-4' 가중치 허깅페이스에 MIT 라이선스로 완전 공개

파이-4는 마이크로소프트가 고도의 수학, 코딩, 논리 추론 작업을 위해 개발한 140억 매개변수(14B) 규모의 오픈 모델입니다. 이제 공식 모델 가중치가 허깅페이스를 통해 완전히 공개되었으며, 상업적 활용이 자유로운 MIT 라이선스가 적용되었습니다.

지난 12월 애저 AI 파운드리 플랫폼을 통해 연구용으로 처음 소개되었으나, 커뮤니티의 지속적인 가중치 공개 요구에 힘입어 별도의 사용 승인 절차 없이 누구나 가중치를 내려받을 수 있도록 전환되었습니다.

대형 모델을 앞서는 추론 벤치마크

파이-4는 14B라는 비교적 컴팩트한 체급에도 불구하고 집중적인 논리 추론 성능을 발휘합니다.

대표적인 고난도 수학 벤치마크인 MATH 및 MGSM 테스트에서 80% 이상의 높은 점수를 기록하며, 구글의 제미나이 프로나 GPT-4o-mini 같은 대형 모델들을 능가하는 결과를 보였습니다. 또한 코드 생성 벤치마크인 HumanEval에서도 뛰어난 성적을 거두어 소프트웨어 개발 보조 도구로도 유용합니다.

모델 스펙과 로컬 배포 환경

파이-4는 16K 토큰의 문맥 길이를 지원하는 Dense 디코더 전용 트랜스포머 구조를 채택했습니다.

품질 높은 합성 데이터 학습이 성능의 핵심입니다. 1920장의 H100 GPU를 활용해 21일 동안 9.8조 토큰의 데이터를 학습시켰으며, 엄선된 웹 텍스트 외에도 수학과 코딩을 다룬 교과서 스타일의 합성 데이터와 학술 서적, Q&A 데이터셋을 집중 투입했습니다. 학습 데이터의 약 8%는 다국어 데이터로 구성되었으며, 지도 미세조정과 직접 선호도 최적화를 거쳤습니다.

배포 유연성도 뛰어납니다. 허깅페이스의 트랜스포머스 라이브러리를 통해 즉시 불러올 수 있으며, vLLM이나 SGLang을 이용해 OpenAI 호환 API 서버를 로컬에서 구동하거나 도커 모델 러너를 통해 컨테이너 환경에서 간편하게 실행할 수 있습니다.

왜 중요한가

14B 모델은 단일 GPU나 워크스테이션 환경에서도 자체 구동이 가능한 실용적인 크기입니다. 이 체급에서 프론티어급 수학 및 추론 능력을 제공하면서, MIT 라이선스를 통해 상용 서비스 도입과 파인튜닝의 제약을 완전히 없앴다는 점이 강점입니다.

클라우드 종속 없이 온프레미스나 로컬 환경에서 엄격한 추론과 코딩 작업을 수행해야 하는 엔지니어와 기업이라면, 파이-4는 지금 당장 테스트해 볼 가치가 충분한 강력한 오픈소스 베이스 모델입니다.