AI2 开源 Molmo 2：8B 逆袭 72B，支持视频指向与追踪

AI2 的 Molmo 2 是一套专为视频理解、指向与目标追踪打造的开源多模态模型家族。它能接收单张图像、多图序列或不同长度的视频片段，直接在画面中圈出目标、给出时间戳，并跨帧追踪同一个物体。

这次一共推出了三个版本。主力是基于 Qwen 3 的 Molmo 2 (8B)，在视频定位和问答上综合能力最强；追求速度与效率的 Molmo 2 (4B) 同样基于 Qwen 3；如果你需要对从底层语言模型到视觉编码器的整个流程拥有完全控制权，还有基于 Olmo 的 Molmo 2-O (7B)，提供全开源的技术闭环。

它能做什么

传统的视觉大模型回答视频问题时通常只能给出一句概括，而 Molmo 2 的核心能力在于时空定位。比如问它机械臂抓取了多少次红色方块，它不会只回复一个数字，而是返回每一次抓取动作发生的时间戳与画面像素坐标。

多目标追踪也是它的强项。即使物体被遮挡或短暂离开画面再重新进入，Molmo 2 也能维持稳定的 ID，避免重复计数。它还可以用来检测生成视频中的几何破损、不自然光影等瑕疵，或者结合画面字幕与视觉证据完成多模态问答。

在基准测试中，8B 的 Molmo 2 表现相当抢眼。在视频追踪测试中，它的得分超越了开源追踪基线模型，也甩开了闭源的 Gemini 3 Pro；在 11 项图像平均基准上，它领跑所有同量级开源模型，紧跟在 GPT-5 和 GPT-5 mini 之后，排在 Gemini 2.5 Pro 之前。更亮眼的是，它在关键的图像指向和定位测试上，综合表现直接超越了上一代 72B 参数的初代 Molmo。

怎么做到的与开源程度

Molmo 2 的高效率来自于高质量的数据筛选和架构设计。整个训练只用了 919 万个视频样本，还不到 Meta 的 PerceptionLM 使用的 7250 万个视频的八分之一。AI2 专门构建了 9 个专注于密集描述、长视频问答与指向追踪的新数据集，并让人类标注员进行口述描述，再由模型提炼出数百字高密度细节。

模型架构由视觉编码器、语言模型骨干网络以及一个轻量级连接器组成。连接器将视觉 token 与时间戳、图像索引交错拼接，并在视觉 token 之间引入了跨帧双向注意力机制，让模型能同时在时间、空间和自然语言维度联合推理。处理视频时，它支持最多以每秒 2 帧的频率采样 128 帧，同时支持 SlowFast 风格的推理策略，关键帧用高分辨率，其余帧降低分辨率，显著节省计算资源。

AI2 这次不仅仅放出了模型权重，而是开源了整个代码库。包括预训练、监督微调（SFT）、长上下文 SFT 的完整脚本，还有数据下载与预处理工具、评测套件，以及对 transformers 和 vLLM 推理框架的支持。

代码与权重已经全部公开，支持使用 vLLM 进行低延迟部署，开发者可以直接下载检查点并在自己的视频数据上微调。

为什么重要

对于需要处理机器人视觉、安防监控分析或长视频内容检索的开发者来说，Molmo 2 是目前开源社区里少有的实用工具。它把原本属于专用感知系统或大尺寸闭源模型的时空定位能力，压缩到了 4B 到 8B 的轻量化体积内，这意味着个人开发者和中小团队在普通单卡工作站上就能跑起高质量的视频追踪系统。

我们认为 AI2 最聪明的地方在于放弃了海量弱标注视频的堆砌，转而押注在密集描述和定位目标的高质量数据筛选上。虽然它在超长视频的长篇推理上与顶级闭源巨头仍有差距，且高难度的视频计数整体准确率依然存在提升空间，但对于追求透明度、想要完全可复现训练管线的团队而言，Molmo 2 已经立起了一个很高的开源新标杆。