騰訊開源 WeVisOne-VL:單個輕量模型搞定檢測、計數與摳圖
騰訊微信視覺團隊開源視覺語言模型 WeVisOne-VL,推出 2B 與 4B 兩個輕量版本。它無需 SAM 等重型模型輔助,僅靠 9.6M 引數的解碼器就能統一目標檢測、OCR、計數與髮絲級透明通道摳圖,目標不存在時還會主動拒識。程式碼與權重已按 Apache 2.0 協議開放,支援本地執行。

WeVisOne-VL 是騰訊微信視覺團隊開源的多合一視覺語言模型,用一個輕量模型把目標檢測、目標指向、數量統計、OCR 文字識別以及髮絲級摳圖全部包攬。
以往做一套完整的視覺流水線,通常要串聯好幾個專用模型,比如先用檢測器框出範圍,再掛一個 SAM 提取輪廓,最後還要找專門的摳圖工具生成半透明通道。WeVisOne-VL 把這些流程收束到了單個端到端架構裡。
它能做什麼
在輸入一張圖片後,你可以直接用自然語言向它發指令。讓它找沙發或茶几,它會返回標準的邊界框座標;讓它統計畫面裡寵物的數量,它能邊框選邊數數;讓它讀出街道招牌上的文字或定位某個生僻詞,它也能兼顧文本位置與內容識別。
更亮眼的是畫素級輸出。模型支援生成精細的 Alpha 遮罩,連毛髮等連續透明細節都能處理,徹底甩掉了 SAM 等百兆甚至十億引數的重型分割模型輔助。同時它還帶主動拒識機制,當你在畫面裡尋找根本不存在的目標時,它不會硬猜或胡亂標註,而是直接返回 None。
在各項基準測試裡,4B 版本的表現相當亮眼。在 Dense200 密集檢測上 F1 Mean 達到 71.3,大幅超越了 3B 到 9B 的同類開源基線;在 WeRef-Bench 拒識測試中的拒識率達到 96.4%,而很多現有大模型在這一項甚至不足 50%;在 P3M-500-NP 和 WeRefMat 摳圖測試中,衡量誤差的 MAD 指標分別壓到了 7.3 和 9.8,數值越低代表邊緣過渡越自然。
架構與怎麼跑起來
這套工具在技術上走了一條非常輕巧的路線。模型底座基於 Qwen3-VL,核心邏輯是將所有任務統一改寫為結構化文本輸出,用特殊標記表示座標。關鍵突破在於後接的畫素解碼器引數量僅有 9.6M,它結合了特定 token 的隱層狀態、預測框與 ViT 多尺度特徵,用極低的算力開銷直接合成全解析度遮罩。
整個專案採用寬鬆的 Apache 2.0 許可證開源,允許商業使用。微信視覺團隊不僅在 Hugging Face 放出了 2B 和 4B 兩個尺寸的模型權重,還同步開源了技術報告、推理包、Cookbooks、評測指令碼,以及他們內部用來生成訓練資料的 Mask2Alpha 標註工具。
硬體要求上,40 億引數版本模型體積約為 19GB,20 億引數版本體積減半,普通顯示卡甚至消費級本地電腦都能跑得動。克隆 GitHub 倉庫並安裝依賴後,可以用官方提供的 Gradio 指令碼一鍵啟動本地 Web 介面,後端同時支援 Transformers 與高吞吐的 vLLM。
為什麼重要
如果你正在開發需要同時處理定位、打標和摳圖的本地影像處理應用,WeVisOne-VL 非常值得現在就接入測試。它最聰明的地方在於沒有盲目堆砌大模型體積,而是用一個不到千萬引數的超輕解碼器搞定了最耗算力的畫素級輸出,直接省掉了傳統管線裡多個大模型串聯的視訊記憶體開銷與工程複雜度。
和目前主流的多模型拼接方案相比,它把拒識能力做進了原生框架,大大降低了下游業務誤報的風險。不過 2B 和 4B 畢竟屬於輕量級端側模型,面對極端複雜的長文本理解或罕見專有詞彙時,泛化上限依然受底座語言能力的限制,更適合作為專用視覺分析單元嵌入現有系統。
來源 (1)
- github.com(在新分頁開啟)原文github.com