모델베스트, MiniCPM-V 4.6 오픈소스 공개: 1.3B 모델이 6GB 메모리로 구동

보통 파라미터가 1B 수준으로 줄어든 모델이라고 하면, 성능이 대폭 깎여나간 맛보기용 모델을 떠올리기 쉽습니다.

하지만 모델베스트와 칭화대, 그리고 OpenBMB 커뮤니티가 내놓은 새 모델은 이 통념을 정면으로 반박합니다.

온디바이스 멀티모달 대형 언어 모델 MiniCPM-V 4.6이 오픈소스로 정식 공개되었습니다. 파라미터 규모는 1.3B에 불과하며, 모바일 기기 등 단말에서 약 6GB 메모리만 있으면 매끄럽게 돌아갑니다.

작은 크기, 압도적으로 줄어든 토큰 소모

온디바이스 멀티모달 모델에서 가장 큰 문제는 메모리 부족과 느린 반응 속도입니다.

MiniCPM-V 4.6은 시리즈 중 가장 작은 크기임에도 주요 벤치마크에서 뛰어난 성적을 냈습니다. 이미지-텍스트 이해, STEM 추론, 문서 OCR, 영상 시계열 이해 등 전반적인 영역에서 알리바바의 Qwen3.5-0.8B와 구글 Gemma4-E2B-it을 앞질렀습니다.

특히 주목할 부분은 효율성입니다. Artificial Analysis 벤치마크 평가에서 MiniCPM-V 4.6 1.3B 비추론 버전의 토큰 소모량은 약 540만 개에 불과했습니다. 이는 Qwen3.5-0.8B 비추론 버전(약 1억 100만 개)의 19분의 1 수준이며, 추론 버전(약 2억 3300만 개)과 비교하면 43분의 1에 불과합니다.

크기는 비슷하거나 조금 큰 수준이지만, 실제로 동작할 때 먹는 연산 자원을 극단적으로 덜어낸 셈입니다.

어떻게 가볍고 빠르게 만들었나

이러한 효율성은 칭화대와 공동 개발한 LLaVA-UHD v4 아키텍처 덕분입니다. 비전 트랜스포머(ViT) 내부에서 시각 토큰을 조기에 압축하는 방식을 도입해, 이미지 인코딩 연산량을 55.8% 줄였습니다.

여기에 4배 및 16배 하이브리드 압축 모드를 제공해 고정밀 문서 분석이 필요할 때는 정밀하게, 저사양 단말에서 실시간 상호작용이 필요할 때는 가볍게 전환할 수 있습니다.

3132×3132 해상도의 고화질 이미지를 넣었을 때 첫 번째 토큰이 출력되기까지 걸리는 지연 시간은 약 75.7밀리초로, Qwen3.5-0.8B보다 2.2배 빨랐습니다.

현재 GitHub와 Hugging Face에 모델이 공개되었으며, vLLM, llama.cpp, Ollama 등 주요 추론 도구는 물론 iOS, 안드로이드, 하모니OS 테스트 앱까지 갖췄습니다. RTX 4090 같은 소비자용 그래픽카드 한 장으로 전체 파인튜닝이 가능합니다.

왜 중요한가

우리는 온디바이스 모델의 경쟁 축이 단순히 파라미터를 깎아내는 것에서, 제한된 자원 안에서 지능의 밀도를 얼마나 높이느냐로 이동하고 있다고 봅니다.

개발자와 기업 입장에서는 멀티모달 기능을 실제 제품에 탑재하는 비용이 획기적으로 줄어듭니다. 값비싼 클라우드 API를 쓰지 않고도 스마트폰, 차량용 디스플레이, 스마트 가전 같은 기기 안에서 6GB 메모리만으로 문서를 읽고 이미지를 이해하는 환경을 꾸릴 수 있습니다.

업계 전체로 봐도 소형 에지 모델의 기준치를 크게 끌어올렸습니다. 단순히 거대 모델을 흉내 내며 크기만 줄이는 방식으로는 이제 경쟁하기 어렵다는 점을 증명했기 때문입니다.

물론 1.3B라는 체급의 한계가 명확한 만큼, 수십 단계의 복잡한 추론이나 방대한 코딩 작업을 도맡을 수는 없습니다. 하지만 일상적인 단말 환경에서 빠르고 영리하게 시각 정보를 처리하는 도구로서는 지금 당장 시험해볼 가치가 충분합니다.