微軟開源視覺模型 Florence-2：小至 232M，一個模型通吃多種影像任務

Florence-2 是微軟開源的一個輕量級視覺基礎模型，能讓你用一個模型解決幾乎所有常見的計算機視覺任務。

以往做視覺開發非常折騰，做影像描述要找一個模型，做物體檢測得找第二個，做精細的影像分割還得找第三個。Florence-2 把這些任務全部打包成一套類似大語言模型的互動方式，只要輸入圖片和對應的文本提示詞，它就能直接輸出對應的文字描述或座標結果。

它能做什麼，怎麼做到的

Florence-2 最大的特點就是小而全。模型只提供了 232M 和 771M 兩個引數版本，這種體積即便放在普通的個人電腦或邊緣裝置上，執行起來也毫無壓力。

它採用序列到序列的架構，內部整合了一個影像編碼器和一個多模態編碼解碼器。不管你讓它圈出圖裡的貓，還是詳細描述畫面背景，模型處理的邏輯都是統一的：接收影像和文本提示，直接生成結構化的文本結果。

為了訓練出這種通吃能力，微軟先用專門模型生成了一個名為 FLD-5B 的龐大視覺資料集，裡面包含 1.26 億張圖片和整整 54 億條標註資訊。這些標註全部被統一轉換成文本格式，讓模型用同一種損失函式完成多工訓練。

越級打大模型的實際表現

雖然體量極小，但 Florence-2 在多項基準測試中的表現相當亮眼。

在 COCO 資料集的零樣本影像描述測試中，232M 版本拿到了 133 分，771M 版本拿下 135.6 分。這一成績直接擊敗了引數量高達 80B 的 DeepMind Flamingo 模型，也優於微軟之前專門用於視覺定位的 Kosmos-2。

在經過少量公開標註資料微調後，它在視覺問答、目標檢測和語義分割等任務上依然能抗衡不少大體積專用模型。相比傳統的 ImageNet 預訓練骨幹網路，Florence-2 將下游微調的訓練效率提高了 4 倍，在 COCO 和 ADE20K 上的分數分別提升了 6.9、5.5 和 5.9 點。

目前預訓練和微調後的兩個尺寸版本都已經上傳到了 Hugging Face。專案採用極其寬鬆的 MIT 協議，無論是個人折騰還是企業商用，都可以自由下載、修改和部署。

為什麼重要

如果你是正在搭建視覺管道的開發者，或者需要把影像分析功能塞進資源有限的本地環境，Florence-2 非常值得立刻試試。它最大的價值是幫你省掉了維護多個專用模型的運維和視訊記憶體成本，用極低的算力門檻就能跑通多項任務。

對整個行業來說，它證明了高質量多工合成數據對小模型的巨大價值。視覺領域一直在盲目卷大模型，而 Florence-2 這種用文本統一各類視覺表徵的路線，很可能會加速輕量級全能視覺工具在端側的普及。不過需要提醒的是，它在真實複雜業務場景下的泛化表現到底如何，依然有待社群開發者進一步驗證。