마이크로소프트, 오픈소스 소형 AI 'Phi-3.5' 3종 공개

마이크로소프트가 소형 AI 모델 제품군인 'Phi-3.5' 3종을 전격 공개했다. 전 모델에 상용화 제약이 거의 없는 완전한 MIT 라이선스를 적용해, 로컬 기기나 온프레미스 환경에서 저비용 고효율 AI를 구현하려는 개발자들에게 최적의 선택지를 제공한다.

이번 라인업은 38억 파라미터의 'Phi-3.5-mini-instruct', 총 419억 파라미터 중 추론 시 66억 개만 활성화되는 'Phi-3.5-MoE-instruct', 41.5억 파라미터 멀티모달 모델인 'Phi-3.5-vision-instruct'로 나뉜다. 3종 모두 128k 토큰 콘텍스트 창을 지원한다.

각 모델의 기능과 벤치마크 결과

Mini 모델은 메모리와 연산 능력이 제한된 환경을 겨냥해 만들어졌다. 크기는 작지만 코드 작성과 수학, 논리 추론 성능이 뛰어나다. 긴 코드 이해도를 측정하는 RepoQA 벤치마크에서 Llama-3.1-8B-instruct와 Mistral-7B-instruct를 모두 제쳤다. 512장의 H100 GPU로 3.4조 토큰을 10일 동안 학습했다.

MoE 모델은 Phi 시리즈 최초로 전문가 혼합 구조를 도입했다. 전체 규모는 419억 파라미터이지만 실제 추론에는 66억 파라미터만 쓰여 연산 효율이 높다. 5-shot MMLU 평가에서는 오픈AI의 GPT-4o mini를 넘어서는 점수를 기록했다. 512장의 H100으로 4.9조 토큰을 23일간 학습한 결과다.

Vision 모델은 텍스트와 이미지를 동시에 처리한다. OCR, 차트와 도표 분석은 물론 긴 비디오 요약까지 지원한다. 128k 콘텍스트를 활용해 여러 프레임의 시각 데이터를 매끄럽게 소화하며, 고밀도 추론 데이터셋을 바탕으로 256장의 A100에서 6일간 훈련됐다.

사용 방법과 요구 사양

세 모델 모두 Hugging Face에 업로드되어 있어 즉시 가중치를 내려받고 파인튜닝할 수 있다.

순수 MIT 라이선스를 채택했기 때문에 사용료 지불이나 사용자 수 제한 없이 자유롭게 수정하고 상용 소프트웨어에 탑재할 수 있다. 메타 라마 라이선스에 존재하는 규제 조항을 피할 수 있는 점이 강점이다.

Mini와 Vision 모델은 단일 소비자용 GPU나 고사양 노트북에서도 무리 없이 구동된다. MoE 모델은 가중치를 올릴 충분한 VRAM이 필요하지만, 활성화 파라미터가 적어 추론 속도는 매우 빠르다.

왜 중요한가

자체 보안 환경에서 코드 어시스턴트를 돌리거나 경량 멀티모달 파이프라인을 구축하려는 개발자에게 매우 실용적인 도구다. 특히 활성 파라미터 66억 개 수준으로 GPT-4o mini급 지적 능력을 내는 MoE는 토큰당 연산 비용을 획기적으로 낮춰준다.

오픈소스 생태계에서 라마 3.1과 견주었을 때, Phi-3.5는 극대화된 매개변수 가성비와 제한 없는 MIT 라이선스를 무기로 내세운다. 온디바이스 AI 구현을 고민하는 엔지니어라면 당장 테스트해 볼 가치가 충분하다.