Meta 釋出 SAM 3.1:多目標跟蹤提速 7 倍,128 個物體順暢跑
Meta 釋出影片與影像分割模型 SAM 3.1,引入共享記憶體機制 Object Multiplex。在單張 H100 上跟蹤 128 個目標時,推理速度提升約 7 倍且不損失精度,並在 6 項影片分割基準上超越前代。模型權重已在 Hugging Face 開放申請。

SAM 3.1 是 Meta 開源的影像與影片分割模型。它能根據簡短文本短語,或者點、框、掩碼等提示詞,在影像和影片裡自動檢測、分割並持續追蹤目標。
它是怎麼提速的
SAM 3 本身已經支援開放詞表概念分割,處理的獨立概念數量是現有基準的 50 倍以上。這次 SAM 3.1 的核心升級,是引入了名為 Object Multiplex 的機制。
這是一種用於聯合多目標跟蹤的共享記憶體方法。在單張 H100 GPU 上同時跟蹤 128 個物體時,推理速度提升了大約 7 倍,而且完全沒有犧牲精度。在 7 個影片物件分割(VOS)基準測試裡,它在其中 6 個上面都超越了前代表現。
模型權重目前已經上傳到 Hugging Face,需要登入賬號並同意 Meta 的隱私政策才能下載使用。需要提醒的是,該倉庫目前只提供模型權重檔案,沒有整合到 Hugging Face Transformers 中,完整的安裝、程式碼和使用文件需要前往 SAM 3 的 GitHub 倉庫獲取。
為什麼重要
對於需要處理高密度影片分割的開發者和視覺研究人員來說,SAM 3.1 解決了一個很現實的痛點。過去在單個影片流裡追蹤幾十上百個目標時,視訊記憶體和算力開銷往往撐不住,不得不降取樣或分批跑。
我們認為,通過在架構底層做多物件記憶體複用,Meta 讓高併發影片分析在單卡上的可行性大增。如果你的業務場景涉及複雜場景監控、自動駕駛感知或稠密物體標註,這個版本非常值得直接換上測試。
來源 (1)
- huggingface.co(在新分頁開啟)原文huggingface.co