NVIDIA 釋出 Describe Anything 3B：圈出畫面區域性就能精準描述

Describe Anything 3B（簡稱 DAM-3B）是 NVIDIA 開源的一個 30 億引數多模態模型，專門用來給影像或影片裡的某一塊區域寫詳細描述。

普通的多模態大模型給整張圖寫概括很在行，但如果你指著角落裡的一隻杯子、或者影片裡某個快速閃過的行人，讓它只描述那一部分，它們往往會丟失細節，甚至分不清背景和主體。DAM-3B 就是衝著這個痛點來的。

它能做什麼

DAM-3B 的互動非常靈活。你可以在畫面上點一個點、拉一個矩形選框、隨手塗鴉一筆，或者給出一個精細的遮罩掩碼，它就能識別出你想看的是哪個部分。

圈定區域後，模型會結合整張圖的上下文，對這個區域性生成準確的文字描述。它不僅支援靜態圖片，還配套推出了處理動態畫面的 DAM-3B-Video，即使目標在影片裡被遮擋或正在移動，也能持續跟蹤並給出描述。

目前 DAM-3B 的模型權重和論文都已經公開，可以直接在 Hugging Face 上下載使用。

怎麼做到的

要把畫面區域性看清，最直接的辦法是把區域性放大裁剪出來，但這樣往往會丟掉全圖的上下文環境。NVIDIA 在這裡用了兩個關鍵設計。

首先是一個叫「焦點提示」（focal prompt）的機制。它把完整影像和區域性的高畫質裁剪圖放在一起輸入，讓模型既能看清區域性紋理，又知道這個區域性在整幅畫裡的位置。

接著，模型的區域性視覺主幹網路通過門控交叉注意力機制，把全域性特徵和區域性特徵融合在一起，再送進語言模型。這套流程做到了不額外增加 token 長度，保證了推理效率。

對於影片版本 DAM-3B-Video，團隊設計了逐幀區域掩碼編碼，把每一幀的區域性特徵跨時間軸整合，以此解決影片裡經常出現的視角晃動和物體遮擋問題。

訓練資料也是一大難點。高質量的區域性標註資料非常少，NVIDIA 搭建了一套半監督資料生成管線，結合現有的分割資料集和海量網路影像，整理出 150 萬個區域性標註樣本，並通過自我訓練迭代，把描述文字打磨得更加細緻。

評測表現

為了檢驗這類任務，研究團隊推出了新的基準 DLC-Bench，不按死板的參考文本比對，而是直接根據屬性層面的正確度來打分。

在 DLC-Bench 上，只有 3B 大小的 DAM-3B 跑出了 67.3% 的平均準確率。在區域性描述的準確度和細節豐富程度上，不僅超過了專門針對影片的基準模型 VideoRefer，也壓過了 GPT-4o 這樣的通用大模型。

此外，在 LVIS、PACO、Flickr30k Entities 等關鍵詞和短語級測試，以及 Ref-L4、HC-STVG 等多句級區域性描述評測中，DAM-3B 也都拿到了領先的成績。

為什麼重要

我們認為 DAM-3B 走了一條非常務實的路線。通用多模態模型把引數捲到幾百億，在整體理解上很強，但在具身智慧、無障礙輔助或精密監控這類場景下，系統真正需要的是看清具體某個螺絲釘、某個按鈕或某件掉落物。

NVIDIA 把區域性描述能力做進了一個 3B 大小的輕量模型裡，這意味著開發者不必為了精準識別某個區域去呼叫昂貴的雲端大模型 API，在本地或邊緣裝置上就有機會跑起來。

對於做機器人感知、影片精細化剪輯標註或自動化質檢的團隊來說，DAM-3B 是個非常值得立刻下載把玩的基礎工具。它的侷限在於目前主要聚焦在定位和描述，複雜的跨區域多步驟推理仍需要配合通用大語言模型來完成。