Meta 发布 SAM 3.1:多目标跟踪提速 7 倍,128 个物体顺畅跑
Meta 发布视频与图像分割模型 SAM 3.1,引入共享内存机制 Object Multiplex。在单张 H100 上跟踪 128 个目标时,推理速度提升约 7 倍且不损失精度,并在 6 项视频分割基准上超越前代。模型权重已在 Hugging Face 开放申请。

SAM 3.1 是 Meta 开源的图像与视频分割模型。它能根据简短文本短语,或者点、框、掩码等提示词,在图像和视频里自动检测、分割并持续追踪目标。
它是怎么提速的
SAM 3 本身已经支持开放词表概念分割,处理的独立概念数量是现有基准的 50 倍以上。这次 SAM 3.1 的核心升级,是引入了名为 Object Multiplex 的机制。
这是一种用于联合多目标跟踪的共享内存方法。在单张 H100 GPU 上同时跟踪 128 个物体时,推理速度提升了大约 7 倍,而且完全没有牺牲精度。在 7 个视频对象分割(VOS)基准测试里,它在其中 6 个上面都超越了前代表现。
模型权重目前已经上传到 Hugging Face,需要登录账号并同意 Meta 的隐私政策才能下载使用。需要提醒的是,该仓库目前只提供模型权重文件,没有集成到 Hugging Face Transformers 中,完整的安装、代码和使用文档需要前往 SAM 3 的 GitHub 仓库获取。
为什么重要
对于需要处理高密度视频分割的开发者和视觉研究人员来说,SAM 3.1 解决了一个很现实的痛点。过去在单个视频流里追踪几十上百个目标时,显存和算力开销往往撑不住,不得不降采样或分批跑。
我们认为,通过在架构底层做多对象内存复用,Meta 让高并发视频分析在单卡上的可行性大增。如果你的业务场景涉及复杂场景监控、自动驾驶感知或稠密物体标注,这个版本非常值得直接换上测试。
来源 (1)
- huggingface.co(在新标签页打开)原文huggingface.co