OpenMOSS 開源 MOSS-VL-Realtime：11B 即時影片模型，支援隨時打斷

MOSS-VL-Realtime 是一個專門跑在即時連續影片流上的 11B 多模態大模型，能一邊接收攝像頭或螢幕畫面，一邊回答你的提問。

OpenMOSS 將這個模型開源。以往的影片理解模型大多是離線式的，你得把整段影片錄完、切好、全部傳進模型，它才能開始思考。MOSS-VL-Realtime 徹底換了個思路，直接面向源源不斷的影片幀，畫面一邊進，文字一邊出。

它能做什麼

最顯眼的能力是支援隨時打斷。在影片流持續推入的過程中，你可以隨時插入問題，模型會結合此前接收到的所有歷史幀立刻作答。

它還學會了主動閉嘴。如果當前畫面沒有發生有意義的變化，或者關鍵線索還沒出現，模型會主動輸出靜默標記繼續觀察，而不是胡亂猜測。

當後面的幀傳進來、帶來更多事實後，它還會動態修正自己剛才的判斷。這種互動方式更接近真人看監控或看直播時的反應。

技術上，它採用了交叉注意力架構，把視覺編碼和語言推理拆開。搭配 256K 的長上下文視窗和 XRoPE 旋轉位置編碼，模型把文字 token 和視覺切片統一對映到時間、高度、寬度組成的三維座標裡，能精確感知事件的先後順序和持續時長。

怎麼跑起來

模型的引數量是 11B，權重格式為 BF16，預設每秒處理 1 幀畫面，預設最大保留 256 幀。目前一個模型例項支援承載一個活躍的即時會話。

OpenMOSS 已經把程式碼放上了 GitHub，權重也同步掛在 Hugging Face 上。部署時需要 Python 3.12 環境，安裝 transformers 和 accelerate 庫，並建議搭配 FlashAttention 2 跑推理。

在程式碼層面，它提供了兩種線上推流介面。一種是會話式的 API，開發者可以用 push_frame 逐幀傳入帶有時間戳的圖片，隨時用 push_prompt 追問；另一種是佇列式的 online_generate，方便後端系統把畫面採集和模型推理拆成獨立的執行緒或服務。

如果你暫時不需要流式輸入，它也保留了傳統的離線影片與單圖推理介面，不過純離線任務官方更推薦同系列的 MOSS-VL-Instruct。

為什麼重要

如果你正在開發車載互動、AI 桌面助理、即時導盲或者直播解說應用，MOSS-VL-Realtime 非常值得拉下來試跑。11B 的體積讓單張消費級或主流資料中心顯示卡就能扛起推理，門檻遠低於動輒數十上百 B 的閉源大模型方案。

我們認為，它最聰明的地方在於把流式互動的工程邏輯直接內化到了模型能力裡，比如主動靜默和糾錯機制，省去了開發者自己在業務層手寫大量狀態機的麻煩。不過目前預設取樣率只有 1 FPS，且單例項只能支撐單一推流會話，在超高幀率捕捉和高併發服務架構上，還需要團隊在落地時做針對性的工程最佳化。