VidEoMT 视频分割模型：普通 ViT 也能做追踪，最高跑出 160 FPS

VidEoMT 是一个基于纯编码器（encoder-only）架构的轻量视频分割与追踪模型。它的核心卖点，是彻底砍掉了过去视频分割里复杂的独立追踪模块，直接用标准的 Vision Transformer（ViT）搞定跨帧目标追踪。

在实际效果上，它能把视频里的羊群、行人、斑马等目标一帧帧精准分割出来。即使画面场景很杂乱、目标运动速度非常快，它也能稳稳跟住。更亮眼的是运行效率，在搭配 ViT-L 主干网络时，它的推理速度最高可以飙到 160 FPS，比许多现有的主流在线视频分割方法快了 5 到 10 倍，同时保持了相当有竞争力的分割精度。

它是怎么做到的

传统的在线视频分割模型，通常需要将单帧图像分割器和一个专门的追踪模块拼在一起。这种结构不仅堆叠得很臃肿，还会吃掉大量的计算资源。

VidEoMT 的思路很直接：大参数量和充分预训练的普通 ViT 编码器本身就已经具备优秀的图像分割能力，根本不需要专门的追踪网络，只要帮它补齐帧与帧之间的时序记忆就行。

为了用纯编码器打通时间线，研究团队设计了一套轻量的查询传递机制（query propagation）。说白了，就是把上一帧提取出的查询向量直接带到下一帧复用，以此顺藤摸瓜追踪物体。

光复用旧信息还不够，遇到新画面容易跟不上。为此他们加入了一套查询融合策略，把继承来的上一帧查询，与一组跟时间无关的学习查询混在一起处理。这样既能记住前一帧的物体轨迹，又能随时看清当前帧的新变化，用极低的计算代价换来了追踪器的效果。

怎么跑起来

项目已经放出了论文和代码实现，并附带了详细的本地运行说明。开发者可以基于公开代码部署在本地测试环境，直接调用 ViT-L 权重来跑视频分割任务。

为什么重要

对于需要做实时视频分析、自动驾驶感知或视频后期剪辑的开发者来说，VidEoMT 非常值得关注。以往高精度的视频目标追踪往往难以做到超高帧率，在边缘设备或计算资源有限的机器上很难跑顺，而最高 160 FPS 的吞吐量大幅拉低了实时分割的落地门槛。

我们认为，这项工作最聪明的地方在于做减法。它证明了不需要在模型外层继续叠床架屋加追踪器，仅靠复用基础视觉编码器的特征就能解决时序问题，为后续轻量化视频模型的结构设计提供了一个很实在的新样本。