Meta 将视觉模型 DINOv2 改为 Apache 2.0 许可允许商用,并推出公平性基准 FACET
Meta 宣布将计算机视觉模型 DINOv2 转向 Apache 2.0 协议,正式允许商业使用,并同步推出语义分割与深度估计扩展模型。此外,Meta 还发布了评估视觉模型公平性的基准 FACET,包含 3.2 万张标注图像,仅供研究评估。
DINOv2 是 Meta 开源的自监督计算机视觉大模型,能从海量图片中提取通用的视觉表征,现在它正式改用宽松的 Apache 2.0 许可证,允许开发者免费商用。
这意味着你终于可以把它直接打包进商业软件、工业视觉检测设备或者商业 SaaS 产品中,不再受此前研究用许可证的法律束缚。
它能做什么与怎么用
DINOv2 的核心价值在于特征提取能力极强。它通过纯自监督学习训练而成,不需要人工标注文本或分类标签,就能理解图像的深度、结构和语义。
这次随着许可证切换,Meta 同步放出了基于 DINOv2 的一系列密集预测扩展模型,主要覆盖两个下游任务:语义图像分割和单目深度估计。
开发者可以直接调用这些现成模型,用单张普通 2D 图像推断出像素级的景深信息,或者把画面中的物体细致地分割出来,省去了自己从头训练下游适配层的麻烦。
Meta 还上线了一个更新版的在线演示页面,支持用户上传图像测试特征匹配和分割效果,直观复现论文中的定性匹配结果。
评估视觉偏见的 FACET 基准
和 DINOv2 商用化同步推出的,还有一个名为 FACET 的视觉公平性评估基准,专门用来测试计算机视觉模型在不同人群特征下的表现偏差。
FACET 数据集包含 3.2 万张图像,涵盖了 5 万个人物样本。每一张图像都由专业人工标注员进行了细粒度标注,包括感知的性别表征、年龄段、肤色、发型以及配饰。
此外,数据集还标注了医生、篮球运动员、吉他手等具体职业和活动类别,并包含了基于 SA-1B 的 6.9 万个人物、头发和服装掩码。
Meta 团队在初步测试中发现,现有的前沿视觉模型在面对较深肤色的人群时,识别和检测准确度往往更低;如果人物留着卷发而非直发,检测难度还会进一步上升。
需要注意的是,FACET 明确仅供研究和公平性评估使用,Meta 禁止将其数据用于训练模型。官方同步开放了一个数据集浏览器供研究人员探查数据分布。
为什么重要
对视觉领域的工程师和初创团队来说,DINOv2 换成 Apache 2.0 是一个巨大的利好。此前很多人虽然认可 DINOv2 在特征提取和无监督聚类上的优秀表现,但因为协议限制只能停留在实验阶段,现在终于可以直接集成到实际生产管线里。
我们认为,Meta 这一步走得很务实。在多模态语言模型抢占风头的当下,纯视觉基础模型的商用门槛被进一步拉平,单目深度估计等能力的开箱即用,会极大降低工业检测、3D 重建和图像编辑工具的开发成本;而 FACET 的发布,也给业界日后上线商业视觉系统提供了一套现成的合规体检工具。
来源 (1)
- ai.meta.com(在新标签页打开)原文ai.meta.com