跳到正文
IFAI

開源專案

Meta 將視覺模型 DINOv2 改為 Apache 2.0 許可允許商用,並推出公平性基準 FACET

首次發布 傳播指數 47

Meta 宣佈將計算機視覺模型 DINOv2 轉向 Apache 2.0 協議,正式允許商業使用,並同步推出語義分割與深度估計擴充套件模型。此外,Meta 還發布了評估視覺模型公平性的基準 FACET,包含 3.2 萬張標註影像,僅供研究評估。

DINOv2 是 Meta 開源的自監督計算機視覺大模型,能從海量圖片中提取通用的視覺表徵,現在它正式改用寬鬆的 Apache 2.0 許可證,允許開發者免費商用。

這意味著你終於可以把它直接打包進商業軟體、工業視覺檢測裝置或者商業 SaaS 產品中,不再受此前研究用許可證的法律束縛。

它能做什麼與怎麼用

DINOv2 的核心價值在於特徵提取能力極強。它通過純自監督學習訓練而成,不需要人工標註文本或分類標籤,就能理解影像的深度、結構和語義。

這次隨著許可證切換,Meta 同步放出了基於 DINOv2 的一系列密集預測擴充套件模型,主要覆蓋兩個下游任務:語義影像分割和單目深度估計。

開發者可以直接呼叫這些現成模型,用單張普通 2D 影像推斷出畫素級的景深資訊,或者把畫面中的物體細緻地分割出來,省去了自己從頭訓練下游適配層的麻煩。

Meta 還上線了一個更新版的線上演示頁面,支援使用者上傳影像測試特徵匹配和分割效果,直觀復現論文中的定性匹配結果。

評估視覺偏見的 FACET 基準

和 DINOv2 商用化同步推出的,還有一個名為 FACET 的視覺公平性評估基準,專門用來測試計算機視覺模型在不同人群特徵下的表現偏差。

FACET 資料集包含 3.2 萬張影像,涵蓋了 5 萬個人物樣本。每一張影像都由專業人工標註員進行了細粒度標註,包括感知的性別表徵、年齡段、膚色、髮型以及配飾。

此外,資料集還標註了醫生、籃球運動員、吉他手等具體職業和活動類別,並包含了基於 SA-1B 的 6.9 萬個人物、頭髮和服裝掩碼。

Meta 團隊在初步測試中發現,現有的前沿視覺模型在面對較深膚色的人群時,識別和檢測準確度往往更低;如果人物留著捲髮而非直髮,檢測難度還會進一步上升。

需要注意的是,FACET 明確僅供研究和公平性評估使用,Meta 禁止將其資料用於訓練模型。官方同步開放了一個數據集瀏覽器供研究人員探查資料分佈。

為什麼重要

對視覺領域的工程師和初創團隊來說,DINOv2 換成 Apache 2.0 是一個巨大的利好。此前很多人雖然認可 DINOv2 在特徵提取和無監督聚類上的優秀表現,但因為協議限制只能停留在實驗階段,現在終於可以直接整合到實際生產管線裡。

我們認為,Meta 這一步走得很務實。在多模態語言模型搶佔風頭的當下,純視覺基礎模型的商用門檻被進一步拉平,單目深度估計等能力的開箱即用,會極大降低工業檢測、3D 重建和影像編輯工具的開發成本;而 FACET 的釋出,也給業界日後上線商業視覺系統提供了一套現成的合規體檢工具。

來源 (1)

  1. [1]
    ai.meta.com(在新分頁開啟)原文ai.meta.com

每日 AI 內容精選