跳到正文
IFAI

開源專案

MiniCPM-o 4.5:9B 全模態端側模型,支援邊看邊聊與主動打斷

首次發布 傳播指數 48

OpenBMB 開源 9B 引數全模態模型 MiniCPM-o 4.5,能同時處理音影片輸入並即時語音互動。它採用全雙工架構,不僅允許使用者打斷,模型還能每秒做一次決策主動插話提醒。模型支援本地部署,視覺與文件解析能力逼近甚至超過部分主流閉源模型。

MiniCPM-o 4.5:9B 全模態端側模型,支援邊看邊聊與主動打斷
圖:huggingface.co

MiniCPM-o 4.5 是 OpenBMB 開源的 9B 引數全模態模型,能讓你在本地裝置上實現類似科幻電影般的即時音影片互動。

它最大的特點是全雙工流式互動。你可以開啟攝像頭對著桌面上的物體,一邊展示一邊說話,它能邊看邊聽邊即時用語音回答你,不用像傳統大模型那樣等你說完一段再停頓幾秒生成文本轉語音。

更特別的是打斷機制。不僅你可以隨時出聲打斷它的回答,它還會以每秒 1 次的頻率持續分析接收到的音影片流,在發現異常或需要補充時自主插話提醒,交流節奏非常像兩個真人面對面聊天。

怎麼做到的與實際表現

MiniCPM-o 4.5 採用了端到端的全模態架構,底層由 SigLip2、Whisper-medium、CosyVoice2 和 Qwen3-8B 組合連線而成,所有模態編碼器和解碼器在隱空間直接打通。

為了讓音影片流與輸出完全同步,它引入了分時多工機制,把並行的音影片流切分成毫秒級的時間片餵給底座模型,同時讓文本與語音 token 交替解碼,從而支援超過 1 分鐘的穩定長語音輸出。

除了流式對話,它還繼承了聲音克隆能力。只要給它一段簡短的參考音訊,它就能模仿對應音色進行角色扮演,克隆表現甚至優於原版 CosyVoice2。

在基準測試中,9B 引數的 MiniCPM-o 4.5 在 OpenCompass 視覺評測上拿到了 77.6 分,超越了 GPT-4o 與 Gemini 2.0 Pro,接近 Gemini 2.5 Flash。在英文文件解析基準 OmniDocBench 上,它的端到端表現甚至壓過了 Gemini-3 Flash 和 GPT-5。

硬體要求與怎麼跑起來

模型權重現已完全開源,未量化版本大小約 23.4GB,單張 RTX 4090 顯示卡即可完整載入執行。

如果你沒有高規格專業顯示卡,官方也同步提供了 16 種不同尺寸的 int4 和 GGUF 量化版本,支援通過 llama.cpp 或 Ollama 直接在 MacBook 或普通電腦的 CPU 上跑起來。

高併發服務方面,它已經相容 vLLM 和 SGLang。官方在 Hugging Face、GitHub 上開源了全部程式碼和模型,同時提供了一個可以直接在本地 Mac 或 GPU 機器上部署的即時網頁 Demo。

為什麼重要

MiniCPM-o 4.5 證明了全雙工即時多模態互動不再是大廠雲端閉源模型的專利。對於想要做桌面 AI 伴侶、車載語音助手或可穿戴視覺裝置的開發者來說,它提供了一個完全本地化、低延遲且可控的 9B 現成底座。

我們認為,它最聰明的地方在於把全雙工和 1Hz 主動決策結合起來,徹底擺脫了傳統問答式對話的呆板感。不過要真正在端側實現絲滑的多流併發,對裝置的記憶體頻寬和散熱依然是不小的考驗,但它無疑給開源端側 AI 樹立了一個極具實用價值的標杆。

來源 (1)

  1. [1]
    huggingface.co(在新分頁開啟)原文huggingface.co

每日 AI 內容精選