MS, 온디바이스용 소형 모델 'Phi-4' 공개: 음성·시각·텍스트 동시 처리

온디바이스 환경에서 음성을 듣고 이미지를 보며 텍스트를 처리하려면 여러 전용 모델을 이어 붙여야 했고, 이는 심각한 지연 시간과 메모리 낭비로 이어졌습니다.

마이크로소프트는 2월 26일, 소형 언어 모델(SLM) 제품군인 Phi의 신작 'Phi-4-multimodal'과 'Phi-4-mini'를 발표했습니다. 두 모델은 Azure AI Foundry, Hugging Face, NVIDIA API Catalog를 통해 배포되었습니다.

음성과 시각을 하나로 묶은 5.6B 모델

Phi-4-multimodal은 마이크로소프트가 선보인 첫 멀티모달 소형 모델입니다. 56억(5.6B) 매개변수 규모로, Mixture-of-LoRAs 아키텍처를 도입해 음성, 시각, 텍스트 입력을 단일 표현 공간에서 동시에 처리합니다.

합성 음성 질문과 차트 이미지를 동시에 입력받아 추론하는 작업에서 강력한 성능을 발휘합니다. 허깅페이스 OpenASR 리더보드에서는 단어 오류율(WER) 6.14%를 기록해 기존 최고 기록인 6.5%를 깨고 WhisperV3를 제치며 1위에 올랐습니다. 문서 이해와 OCR 등에서도 Claude 3.5 Sonnet이나 Gemini 2.0 Flash Lite와 대등하거나 앞서는 결과를 보였습니다.

다만 마이크로소프트는 모델 크기가 작은 만큼 일반 지식 축적량에 한계가 있어, 음성 질의응답(QA)에서는 GPT-4o나 Gemini 2.0 Flash 같은 폐쇄형 대형 모델과 격차가 존재한다고 밝혔습니다.

128k 문맥을 다루는 3.8B 텍스트 특화 'Phi-4-mini'

함께 공개된 Phi-4-mini는 38억(3.8B) 매개변수의 텍스트 전용 디코더 모델입니다. 20만 단어 규모의 어휘 체계와 128,000 토큰에 달하는 긴 문맥 창을 지원합니다.

이 모델은 외부 API를 호출하는 펑션 콜링과 코딩, 논리 추론에 특화되었습니다. 윈도우 어플라이드 사이언스 부문 부사장 비벡 프라딥(Vivek Pradeep)은 향후 Copilot+ PC에 이 모델의 역량을 적용해 배터리 소모를 줄이면서 백그라운드 지능형 작업을 구현할 계획이라고 전했습니다.

왜 중요한가

엣지 디바이스 개발에서 멀티모달 통합 파이프라인의 문턱을 크게 낮췄다는 점에 주목해야 합니다. 로봇, 차량용 음성 비서, 가전제품 개발자가 음성 인식기와 시각 모델을 복잡하게 연결하지 않고도 현장에서 즉시 반응하는 시스템을 구축할 수 있게 되었습니다.

파인튜닝 비용이 매우 저렴하다는 것도 실질적인 장점입니다. 공식 데이터에 따르면 의료 영상 질의응답 튜닝에 A100 GPU 8장으로 단 5시간 만에 최적화를 마쳤습니다.

물론 한계도 명확합니다. 작은 모델 크기 때문에 방대한 상식을 직접 기억해 답하는 단독 챗봇으로는 부적합합니다. 하지만 외부 데이터나 시스템 제어 도구와 결합된 경량 에이전트 도구로 활용할 때 진가를 발휘할 것으로 보입니다.