NVIDIA 发布 Describe Anything 3B：圈出画面局部就能精准描述

Describe Anything 3B（简称 DAM-3B）是 NVIDIA 开源的一个 30 亿参数多模态模型，专门用来给图像或视频里的某一块区域写详细描述。

普通的多模态大模型给整张图写概括很在行，但如果你指着角落里的一只杯子、或者视频里某个快速闪过的行人，让它只描述那一部分，它们往往会丢失细节，甚至分不清背景和主体。DAM-3B 就是冲着这个痛点来的。

它能做什么

DAM-3B 的交互非常灵活。你可以在画面上点一个点、拉一个矩形选框、随手涂鸦一笔，或者给出一个精细的遮罩掩码，它就能识别出你想看的是哪个部分。

圈定区域后，模型会结合整张图的上下文，对这个局部生成准确的文字描述。它不仅支持静态图片，还配套推出了处理动态画面的 DAM-3B-Video，即使目标在视频里被遮挡或正在移动，也能持续跟踪并给出描述。

目前 DAM-3B 的模型权重和论文都已经公开，可以直接在 Hugging Face 上下载使用。

怎么做到的

要把画面局部看清，最直接的办法是把局部放大裁剪出来，但这样往往会丢掉全图的上下文环境。NVIDIA 在这里用了两个关键设计。

首先是一个叫「焦点提示」（focal prompt）的机制。它把完整图像和局部的高清裁剪图放在一起输入，让模型既能看清局部纹理，又知道这个局部在整幅画里的位置。

接着，模型的局部视觉主干网络通过门控交叉注意力机制，把全局特征和局部特征融合在一起，再送进语言模型。这套流程做到了不额外增加 token 长度，保证了推理效率。

对于视频版本 DAM-3B-Video，团队设计了逐帧区域掩码编码，把每一帧的局部特征跨时间轴整合，以此解决视频里经常出现的视角晃动和物体遮挡问题。

训练数据也是一大难点。高质量的局部标注数据非常少，NVIDIA 搭建了一套半监督数据生成管线，结合现有的分割数据集和海量网络图像，整理出 150 万个局部标注样本，并通过自我训练迭代，把描述文字打磨得更加细致。

评测表现

为了检验这类任务，研究团队推出了新的基准 DLC-Bench，不按死板的参考文本比对，而是直接根据属性层面的正确度来打分。

在 DLC-Bench 上，只有 3B 大小的 DAM-3B 跑出了 67.3% 的平均准确率。在局部描述的准确度和细节丰富程度上，不仅超过了专门针对视频的基准模型 VideoRefer，也压过了 GPT-4o 这样的通用大模型。

此外，在 LVIS、PACO、Flickr30k Entities 等关键词和短语级测试，以及 Ref-L4、HC-STVG 等多句级局部描述评测中，DAM-3B 也都拿到了领先的成绩。

为什么重要

我们认为 DAM-3B 走了一条非常务实的路线。通用多模态模型把参数卷到几百亿，在整体理解上很强，但在具身智能、无障碍辅助或精密监控这类场景下，系统真正需要的是看清具体某个螺丝钉、某个按钮或某件掉落物。

NVIDIA 把局部描述能力做进了一个 3B 大小的轻量模型里，这意味着开发者不必为了精准识别某个区域去调用昂贵的云端大模型 API，在本地或边缘设备上就有机会跑起来。

对于做机器人感知、视频精细化剪辑标注或自动化质检的团队来说，DAM-3B 是个非常值得立刻下载把玩的基础工具。它的局限在于目前主要聚焦在定位和描述，复杂的跨区域多步骤推理仍需要配合通用大语言模型来完成。