MS, 고효율 멀티모달 추론 모델 'Phi-4-reasoning-vision-15B' 오픈소스로 공개

Phi-4-reasoning-vision-15B는 마이크로소프트가 가중치를 오픈소스로 공개한 150억 파라미터 규모의 멀티모달 추론 모델입니다. 일반적인 하드웨어 환경에서도 구동 가능한 크기를 유지하면서 뛰어난 추론 성능과 빠른 속도를 제공하도록 설계되었습니다.

단순한 사진 설명 수준을 넘어, 수학과 과학 분야의 심층 추론은 물론 PC와 모바일 화면 인터페이스를 정확하게 읽어내는 작업에 특화되어 있습니다.

무엇을 할 수 있나

문서 및 영수증 판독, 연속된 이미지 변화 파악 등 기본적인 시각 언어 작업은 물론이고 복잡한 수식 풀이와 화면 UI 요소 식별에서 강력한 성능을 발휘합니다.

MathVista, MMMU, ChartQA, ScreenSpot-v2 등의 벤치마크 테스트에서 약 75%의 정확도를 기록하며 비슷한 속도를 가진 기존 모델들을 앞서는 성능을 보였습니다.

가장 눈에 띄는 대목은 압도적인 학습 효율입니다. Qwen 2.5 VL, Qwen 3 VL, Kimi-VL, Gemma3 등 최근 주요 모델들이 1조 개 이상의 토큰으로 학습된 반면, 이 모델은 단 2000억 개의 멀티모달 토큰만으로 학습되었습니다. 경쟁 모델 대비 약 10분의 1 수준의 연산량만으로 대형 모델에 필적하는 정확도를 구현한 셈입니다.

10분의 1 연산량으로 구현한 비결

마이크로소프트는 연산 비용이 큰 초기 융합 대신, 시각 인코더와 언어 모델을 결합하는 중간 융합(mid-fusion) 방식을 택했습니다. 언어 백본으로는 Phi-4-Reasoning을 사용하고 시각 인코더로는 가변 해상도를 지원하는 SigLIP-2 Naflex를 적용했습니다.

작은 UI 요소를 정확히 짚어내기 위해 여러 해상도 처리 방식을 비교 실험한 결과, 최대 3600토큰(약 720p 해상도)을 지원하는 동적 해상도 방식이 화면 인식 벤치마크에서 가장 뛰어난 성능을 보였습니다.

데이터 정제에도 공을 들였습니다. 오픈소스 데이터셋을 전수 검토해 품질이 낮은 답변은 GPT-4o와 o4-mini로 다시 생성했고, arXiv 논문에서 추출한 수식 기반의 LaTeX OCR 데이터 등을 추가해 질적 완성도를 높였습니다.

모델 가중치는 현재 Hugging Face, GitHub, Microsoft Foundry에 완전히 공개되어 있습니다. 15B 크기 덕분에 거대한 분산 서버 없이도 적정 사양의 단일 워크스테이션에서 직접 배포해 활용할 수 있습니다.

왜 중요한가

화면을 보고 스스로 작업을 수행하는 컴퓨터 제어 에이전트나 전문 수식 및 도표 분석 도구를 구축하려는 개발자에게 매우 매력적인 대안입니다. 대규모 클라우드 인프라 없이 로컬 환경에서 안정적인 시각 추론을 돌릴 수 있다는 점이 큰 장점입니다.

데이터 규모와 파라미터 숫자만 무작정 늘리던 업계 트렌드에 마이크로소프트가 실용적인 해법을 제시했다고 평가할 수 있습니다. 정교한 비전 인코더 설계와 철저한 데이터 품질 관리만으로도 훨씬 적은 비용으로 실전에서 통하는 고성능 모델을 만들 수 있음을 증명했습니다.