OpenBMB, 실시간 대화와 능동 개입 지원하는 9B 옴니모달 모델 'MiniCPM-o 4.5' 공개

MiniCPM-o 4.5는 OpenBMB가 오픈소스로 공개한 9B 파라미터 옴니모달 모델로, 개인용 로컬 하드웨어에서 실시간 비디오 및 음성 대화 환경을 구현한다.

핵심은 완벽한 전이중 스트리밍 상호작용이다. 카메라 화면을 비추며 실시간으로 말을 걸면 모델이 영상을 보고 음성을 들으면서 동시에 음성으로 대답한다. 이전의 대화형 모델처럼 한쪽의 말이 끝나기를 기다릴 필요가 없다.

특히 돋보이는 부분은 능동적 개입 기능이다. 사용자가 모델의 말을 도중에 끊을 수 있을 뿐 아니라, 모델 스스로도 1초에 1회 주기로 판단을 내려 화면에 포착된 상황에 맞춰 먼저 말을 걸거나 경고를 건넬 수 있다.

작동 원리와 벤치마크 성능

MiniCPM-o 4.5는 SigLip2, Whisper-medium, CosyVoice2, Qwen3-8B를 엔드투엔드로 결합한 구조를 갖추고 있다. 각 모달리티의 인코더와 디코더, 언어모델 백본이 은닉 상태를 통해 직접 연결된다.

입출력 스트림을 밀리초 단위로 동기화하기 위해 시분할 다중화 기법을 도입했으며, 텍스트와 음성 토큰을 교차 방식으로 디코딩해 1분 이상의 장기 음성 생성에서도 안정적인 품질을 유지한다.

단 한 편의 짧은 참조 오디오만으로 목소리를 복제하거나 역할극을 수행할 수 있으며, 음성 복제 성능은 단독 도구인 CosyVoice2를 웃돈다.

종합 멀티모달 벤치마크인 OpenCompass에서 77.6점을 기록해 GPT-4o와 Gemini 2.0 Pro를 앞서고 Gemini 2.5 Flash에 근접했다. 문서 분석 벤치마크인 OmniDocBench에서는 상용 모델인 Gemini-3 Flash와 GPT-5를 뛰어넘는 성적을 거뒀다.

구동 사양과 체험 방법

원형 모델의 용량은 약 23.4GB로, 단일 Nvidia RTX 4090 GPU가 장착된 PC에서 파이토치 환경으로 무리 없이 구동된다.

고성능 그래픽카드가 없는 환경을 위해 16가지 크기의 int4 및 GGUF 양자화 모델도 배포됐다. llama.cpp와 Ollama를 지원하므로 MacBook이나 일반 데스크톱 CPU에서도 직접 돌려볼 수 있으며, 대규모 서비스를 위한 vLLM과 SGLang도 지원한다.

가중치와 소스코드는 Hugging Face와 GitHub에 모두 공개되어 있으며, 로컬 Mac이나 GPU 기기에서 바로 실행해볼 수 있는 실시간 웹 데모도 제공된다.

왜 중요한가

MiniCPM-o 4.5는 대형 IT 기업들의 독점 클라우드 API 영역으로 여겨졌던 고속 실시간 전이중 상호작용을 로컬 오픈소스로 끌어내렸다.

초당 1회의 능동적 의사결정과 음성 동시 입출력을 결합해 기계적인 질의응답을 넘어 실제 사람과 대화하는 듯한 경험을 완성한 점이 영리하다. 지속적인 멀티 스트림 처리에 따른 메모리 대역폭 부담은 존재하지만, 개인용 로봇이나 차량용 AI 비서를 연구하는 개발자에게는 즉시 도입을 검토할 가치가 충분하다.