OpenBMBが「MiniCPM-o 4.5」公開、リアルタイム対話と自発的な割り込みに対応する9B全モダリティモデル

MiniCPM-o 4.5は、OpenBMBがオープンソースとして公開した9Bパラメータの全モダリティモデルであり、手元のローカル環境でリアルタイムな音声・映像対話を実現する。

最大の特徴は、完全な全二重ストリーミング処理に対応している点だ。カメラの映像をAIに見せながら話しかけると、モデルは映像を見ながら声を聞き、同時に音声で応答を返す。従来の対話AIのように相手の発話が終わるのを待つ必要がない。

さらにユニークなのが自発的な割り込み機能だ。ユーザーがAIの発話を遮ることができるだけでなく、モデル側も毎秒1回の頻度で状況を判断し、映像内に重要な変化があれば自発的に発話して注意を促したりコメントを挟んだりできる。

仕組みと性能評価

MiniCPM-o 4.5は、SigLip2、Whisper-medium、CosyVoice2、Qwen3-8Bをエンドツーエンドで密に結合したアーキテクチャを採用している。

並行して入力される音声と映像のストリームをミリ秒単位のタイムラインで同期し、時分割多重方式によってバックボーンモデルで処理する。音声デコーダがテキストと音声トークンを交互に生成するため、1分を超える長時間の音声でも破綻せず安定して出力可能だ。

わずかな参照音声クリップを与えるだけで声色を模倣する音声クローンやロールプレイにも対応しており、クローン性能はCosyVoice2単体を上回る水準に達している。

ベンチマークのOpenCompassでは77.6点を記録し、9Bという小型サイズでありながらGPT-4oやGemini 2.0 Proを上回り、Gemini 2.5 Flashに迫った。文書解析テストのOmniDocBenchでもGemini-3 FlashやGPT-5を凌ぐ精度を示している。

動作環境と試し方

モデルのフルウェイトは約23.4GBで、Nvidia RTX 4090を1枚搭載したPCであればPyTorch環境でそのまま動作する。

より手軽に動かしたいユーザー向けには、16種類のint4およびGGUF量子化モデルが用意されている。llama.cppやOllamaに対応しており、MacBookや一般的なCPU環境でもローカル推論が可能だ。本番運用向けにはvLLMやSGLangもサポートする。

コードとウェイトはHugging FaceおよびGitHubで公開されており、MacやローカルGPUでそのまま動かせるリアルタイムWebデモも提供されている。

なぜ重要か

MiniCPM-o 4.5は、これまで一部の商用クラウドAPIでしか体験できなかったリアルタイムの視覚・音声全二重対話を、オープンソースかつローカルで再現可能にした。

特に毎秒1回判断して自発的に話しかけてくる設計は、AIとの対話感を一気に人間に近づける秀逸なアプローチだ。常時ストリーミング処理によるメモリ帯域への負荷はあるものの、スマートグラスや車載アシスタントを開発するエンジニアにとって、今すぐ試す価値のある強力な選択肢となるだろう。