跳到正文
IFAI

開源專案

Meta 開源視覺模型 DINOv2:無需微調,通吃分類與深度估計

首次發布 傳播指數 50

Meta AI 開源自監督計算機視覺模型 DINOv2。它完全擺脫了對文本描述和人工標籤的依賴,提取的特徵直接接入簡單線性分類器就能用,在深度估計和影像檢索等任務上表現出色,適合作為通用視覺骨幹網路。

Meta 開源視覺模型 DINOv2:無需微調,通吃分類與深度估計
圖:ai.facebook.com

DINOv2 是 Meta AI 開源的高效能運算機視覺模型。它最大的特點是不需要針對具體任務做全量微調,提取出來的視覺特徵直接掛上一個極簡的線性分類器,就能在影像分類、分割、檢索以及單目深度估計等任務上直接幹活。

以往基於文本-影像預訓練的流行方案往往依賴影像配文,但人類寫的文字往往只描述主體,比如寫著「一把橡木椅子」,卻忽略了房間多大、椅子擺在什麼方位等空間資訊。DINOv2 徹底拋棄了文本標籤、Alt 描述和人工標註,採用純粹的自監督學習方式,直接從無標註的原始影像集裡學習視覺規律。

它是怎麼做到的

自監督學習在自然語言大模型裡很常見,但在視覺領域做好並不容易。DINOv2 不走近期常見的重構路線,而是通過最佳化自監督特徵表示,讓骨幹網路輸出具有極高通用性的特徵向量。

模型在特徵提取階段就記住了極豐富的區域性空間和幾何資訊。因為不需要為了不同下游任務去微調整個骨幹網路,同一個模型權重可以同時作為多個不同任務的通用底座,大幅降低了推理和部署的維護成本。

實際效果與應用場景

在測試中,DINOv2 在分類、分割和影像檢索任務上都展現出了很強的預測能力。尤其讓人意外的是在單目深度估計任務上,也就是隻看單張圖判斷物體前後景深,DINOv2 的特徵配合簡單輕量模組,表現不僅在域內測試中超過了專門為此設計的頂尖專用模型,在跨域測試中同樣大幅勝出。

在落地驗證方面,Meta AI 與世界資源研究所合作,用該模型對大洲級別的森林進行逐棵樹木的地圖測繪。模型僅用北美森林的資料訓練,直接套用到全球其他地區的森林時依然保持了極高精度,泛化能力突出。

此外,這種無需標註的特性特別適合專業領域。比如在生物顯微細胞成像或野生動物種群密度估算中,專業人工標註極其昂貴甚至不可行,DINOv2 為這類專業科學影像的基礎模型搭建打開了新通道。目前 Meta AI 已經開源了模型並上線了可互動的演示 demo。

為什麼重要

對於視覺工程師和開發者來說,DINOv2 是一個極具實用價值的現成骨幹網路。如果你的業務場景涉及多種下游任務,或者受限於缺乏標註資料,直接拿它作為特徵提取器、外接輕量分類頭就可以快速驗證效果,省去了昂貴的微調與端到端訓練開銷。

我們認為,DINOv2 最聰明的點在於它證明了純視覺自監督依然具備巨大的潛力。在大家扎堆靠圖文對做多模態預訓練時,它補齊了文本描述天然缺失的空間與幾何細節,為通用視覺底座提供了一條紮實的技術路徑。

來源 (1)

  1. [1]
    ai.facebook.com(在新分頁開啟)原文ai.facebook.com

每日 AI 內容精選