OpenMOSS 开源 MOSS-VL-Realtime：11B 实时视频模型，支持随时打断

MOSS-VL-Realtime 是一个专门跑在实时连续视频流上的 11B 多模态大模型，能一边接收摄像头或屏幕画面，一边回答你的提问。

OpenMOSS 将这个模型开源。以往的视频理解模型大多是离线式的，你得把整段视频录完、切好、全部传进模型，它才能开始思考。MOSS-VL-Realtime 彻底换了个思路，直接面向源源不断的视频帧，画面一边进，文字一边出。

它能做什么

最显眼的能力是支持随时打断。在视频流持续推入的过程中，你可以随时插入问题，模型会结合此前接收到的所有历史帧立刻作答。

它还学会了主动闭嘴。如果当前画面没有发生有意义的变化，或者关键线索还没出现，模型会主动输出静默标记继续观察，而不是胡乱猜测。

当后面的帧传进来、带来更多事实后，它还会动态修正自己刚才的判断。这种交互方式更接近真人看监控或看直播时的反应。

技术上，它采用了交叉注意力架构，把视觉编码和语言推理拆开。搭配 256K 的长上下文窗口和 XRoPE 旋转位置编码，模型把文字 token 和视觉切片统一映射到时间、高度、宽度组成的三维坐标里，能精确感知事件的先后顺序和持续时长。

怎么跑起来

模型的参数量是 11B，权重格式为 BF16，默认每秒处理 1 帧画面，默认最大保留 256 帧。目前一个模型实例支持承载一个活跃的实时会话。

OpenMOSS 已经把代码放上了 GitHub，权重也同步挂在 Hugging Face 上。部署时需要 Python 3.12 环境，安装 transformers 和 accelerate 库，并建议搭配 FlashAttention 2 跑推理。

在代码层面，它提供了两种在线推流接口。一种是会话式的 API，开发者可以用 push_frame 逐帧传入带有时间戳的图片，随时用 push_prompt 追问；另一种是队列式的 online_generate，方便后端系统把画面采集和模型推理拆成独立的线程或服务。

如果你暂时不需要流式输入，它也保留了传统的离线视频与单图推理接口，不过纯离线任务官方更推荐同系列的 MOSS-VL-Instruct。

为什么重要

如果你正在开发车载交互、AI 桌面助理、实时导盲或者直播解说应用，MOSS-VL-Realtime 非常值得拉下来试跑。11B 的体积让单张消费级或主流数据中心显卡就能扛起推理，门槛远低于动辄数十上百 B 的闭源大模型方案。

我们认为，它最聪明的地方在于把流式交互的工程逻辑直接内化到了模型能力里，比如主动静默和纠错机制，省去了开发者自己在业务层手写大量状态机的麻烦。不过目前默认采样率只有 1 FPS，且单实例只能支撑单一推流会话，在超高帧率捕捉和高并发服务架构上，还需要团队在落地时做针对性的工程优化。