AI2 開源 Molmo 2：8B 逆襲 72B，支援影片指向與追蹤

AI2 的 Molmo 2 是一套專為影片理解、指向與目標追蹤打造的開源多模態模型家族。它能接收單張影像、多圖序列或不同長度的影片片段，直接在畫面中圈出目標、給出時間戳，並跨幀追蹤同一個物體。

這次一共推出了三個版本。主力是基於 Qwen 3 的 Molmo 2 (8B)，在影片定位和問答上綜合能力最強；追求速度與效率的 Molmo 2 (4B) 同樣基於 Qwen 3；如果你需要對從底層語言模型到視覺編碼器的整個流程擁有完全控制權，還有基於 Olmo 的 Molmo 2-O (7B)，提供全開源的技術閉環。

它能做什麼

傳統的視覺大模型回答影片問題時通常只能給出一句概括，而 Molmo 2 的核心能力在於時空定位。比如問它機械臂抓取了多少次紅色方塊，它不會只回復一個數字，而是返回每一次抓取動作發生的時間戳與畫面畫素座標。

多目標追蹤也是它的強項。即使物體被遮擋或短暫離開畫面再重新進入，Molmo 2 也能維持穩定的 ID，避免重複計數。它還可以用來檢測生成影片中的幾何破損、不自然光影等瑕疵，或者結合畫面字幕與視覺證據完成多模態問答。

在基準測試中，8B 的 Molmo 2 表現相當搶眼。在影片追蹤測試中，它的得分超越了開源追蹤基線模型，也甩開了閉源的 Gemini 3 Pro；在 11 項影像平均基準上，它領跑所有同量級開源模型，緊跟在 GPT-5 和 GPT-5 mini 之後，排在 Gemini 2.5 Pro 之前。更亮眼的是，它在關鍵的影像指向和定位測試上，綜合表現直接超越了上一代 72B 引數的初代 Molmo。

怎麼做到的與開源程度

Molmo 2 的高效率來自於高質量的資料篩選和架構設計。整個訓練只用了 919 萬個影片樣本，還不到 Meta 的 PerceptionLM 使用的 7250 萬個影片的八分之一。AI2 專門構建了 9 個專注於密集描述、長影片問答與指向追蹤的新資料集，並讓人類標註員進行口述描述，再由模型提煉出數百字高密度細節。

模型架構由視覺編碼器、語言模型骨幹網路以及一個輕量級聯結器組成。聯結器將視覺 token 與時間戳、影像索引交錯拼接，並在視覺 token 之間引入了跨幀雙向注意力機制，讓模型能同時在時間、空間和自然語言維度聯合推理。處理影片時，它支援最多以每秒 2 幀的頻率取樣 128 幀，同時支援 SlowFast 風格的推理策略，關鍵幀用高解析度，其餘幀降低解析度，顯著節省計算資源。

AI2 這次不僅僅放出了模型權重，而是開源了整個程式碼庫。包括預訓練、監督微調（SFT）、長上下文 SFT 的完整指令碼，還有資料下載與預處理工具、評測套件，以及對 transformers 和 vLLM 推理框架的支援。

程式碼與權重已經全部公開，支援使用 vLLM 進行低延遲部署，開發者可以直接下載檢查點並在自己的影片資料上微調。

為什麼重要

對於需要處理機器人視覺、安防監控分析或長影片內容檢索的開發者來說，Molmo 2 是目前開源社群裡少有的實用工具。它把原本屬於專用感知系統或大尺寸閉源模型的時空定位能力，壓縮到了 4B 到 8B 的輕量化體積內，這意味著個人開發者和中小團隊在普通單卡工作站上就能跑起高質量的影片追蹤系統。

我們認為 AI2 最聰明的地方在於放棄了海量弱標註影片的堆砌，轉而押注在密集描述和定位目標的高質量資料篩選上。雖然它在超長影片的長篇推理上與頂級閉源巨頭仍有差距，且高難度的影片計數整體準確率依然存在提升空間，但對於追求透明度、想要完全可復現訓練管線的團隊而言，Molmo 2 已經立起了一個很高的開源新標杆。