MS, 14B 추론 모델 'Phi-4-reasoning-plus' 오픈소스 공개…70B 모델 추월

Microsoft가 공개한 'Phi-4-reasoning-plus'는 수학, 과학, 코딩 등 복잡한 논리 추론 작업을 위해 개발된 14B 파라미터 기반의 오픈소스 언어 모델입니다.

14B라는 비교적 작은 체급에도 불구하고 대형 모델을 뛰어넘는 추론 능력을 보여줍니다. 고난도 수학 시험인 AIME 2025 벤치마크에서 30개 전 문항을 첫 시도에 맞히는 pass@1 기준 정확도가 70B 크기의 DeepSeek-R1 증류 모델을 앞섰으며, 671B 원본 DeepSeek-R1에 근접한 결과를 냈습니다.

구현 방식과 주요 스펙

마이크로소프트는 무작정 데이터를 늘리는 대신 철저한 정제 전략을 택했습니다. 전체 학습 토큰은 160억 개에 불과하며, 중복을 제거한 고유 토큰은 약 83억 개 수준입니다.

지도 미세조정 단계에서는 <think>와 </think>라는 특수 토큰을 사용해 중간 추론 과정과 최종 답변을 명확하게 분리하도록 학습시켰습니다. 덕분에 긴 호흡의 문제 해결 과정에서도 논리적 일관성을 유지합니다.

이어진 강화학습에는 약 6400개의 수학 문제와 GRPO 알고리즘을 사용했습니다. 정확성과 간결함의 균형을 맞추고 불필요한 반복을 억제하는 보상 함수를 적용해, 확신이 부족한 문제일수록 모델 스스로 더 깊게 생각하도록 유도했습니다.

구조는 dense decoder-only 트랜스포머이며, 기본 32000 토큰의 문맥 길이를 지원하고 최대 64000 토큰 입력 실험에서도 안정적인 성능을 입증했습니다.

실행 방법과 주의점

이 모델은 제약이 적은 MIT 라이선스로 배포되었습니다. 상업적 서비스 구축은 물론 추가 미세조정과 지식 증류까지 자유롭게 진행할 수 있습니다.

오픈소스 생태계 지원도 즉각적입니다. Hugging Face Transformers를 비롯해 vLLM, llama.cpp, Ollama 등 주요 추론 엔진에서 바로 구동할 수 있습니다.

마이크로소프트는 대화형 인터페이스에서 단계별 추론을 먼저 수행하도록 시스템 프롬프트를 지정해 사용할 것을 권장합니다.

범용 챗봇이라기보다는 추론 엔진 역할을 하는 연구 및 엔지니어링용 컴포넌트이므로, 실제 서비스 배포 전에는 자체적인 정밀 평가를 거치는 것이 좋습니다.

왜 중요한가

70B급 추론 모델은 하드웨어 요구 사양이 높아 로컬 장비나 소규모 서버에서 돌리기 부담스러웠습니다. Phi-4-reasoning-plus는 이를 14B 크기로 줄여 고성능 로컬 추론의 진입 장벽을 대폭 낮췄습니다.

합성 데이터와 목표 중심 강화학습을 결합하면 소형 모델로도 충분히 강력한 추론을 구현할 수 있음을 보여준 사례입니다. 특히 MIT 라이선스를 채택한 만큼 사내 프라이빗 환경 구축이나 경량화 증류를 고민하는 엔지니어들에게 매우 유용한 도구가 될 것입니다.