VidEoMT 影片分割模型：普通 ViT 也能做追蹤，最高跑出 160 FPS

VidEoMT 是一個基於純編碼器（encoder-only）架構的輕量影片分割與追蹤模型。它的核心賣點，是徹底砍掉了過去影片分割裡複雜的獨立追蹤模組，直接用標準的 Vision Transformer（ViT）搞定跨幀目標追蹤。

在實際效果上，它能把影片裡的羊群、行人、斑馬等目標一幀幀精準分割出來。即使畫面場景很雜亂、目標運動速度非常快，它也能穩穩跟住。更亮眼的是執行效率，在搭配 ViT-L 主幹網路時，它的推理速度最高可以飆到 160 FPS，比許多現有的主流線上影片分割方法快了 5 到 10 倍，同時保持了相當有競爭力的分割精度。

它是怎麼做到的

傳統的線上影片分割模型，通常需要將單幀影像分割器和一個專門的追蹤模組拼在一起。這種結構不僅堆疊得很臃腫，還會吃掉大量的計算資源。

VidEoMT 的思路很直接：大引數量和充分預訓練的普通 ViT 編碼器本身就已經具備優秀的影像分割能力，根本不需要專門的追蹤網路，只要幫它補齊幀與幀之間的時序記憶就行。

為了用純編碼器打通時間線，研究團隊設計了一套輕量的查詢傳遞機制（query propagation）。說白了，就是把上一幀提取出的查詢向量直接帶到下一幀複用，以此順藤摸瓜追蹤物體。

光復用舊資訊還不夠，遇到新畫面容易跟不上。為此他們加入了一套查詢融合策略，把繼承來的上一幀查詢，與一組跟時間無關的學習查詢混在一起處理。這樣既能記住前一幀的物體軌跡，又能隨時看清當前幀的新變化，用極低的計算代價換來了追蹤器的效果。

怎麼跑起來

專案已經放出了論文和程式碼實現，並附帶了詳細的本地執行說明。開發者可以基於公開程式碼部署在本地測試環境，直接呼叫 ViT-L 權重來跑影片分割任務。

為什麼重要

對於需要做即時影片分析、自動駕駛感知或影片後期剪輯的開發者來說，VidEoMT 非常值得關注。以往高精度的影片目標追蹤往往難以做到超高幀率，在邊緣裝置或計算資源有限的機器上很難跑順，而最高 160 FPS 的吞吐量大幅拉低了即時分割的落地門檻。

我們認為，這項工作最聰明的地方在於做減法。它證明了不需要在模型外層繼續疊床架屋加追蹤器，僅靠複用基礎視覺編碼器的特徵就能解決時序問題，為後續輕量化影片模型的結構設計提供了一個很實在的新樣本。