微軟推出 Florence 視覺 API 預覽：Reddit 將用它生成圖片替代文本

兩年前微軟對外講過一個叫 Florence 的多模態視覺模型，號稱要徹底重構計算機視覺。當時很多視覺模型還只能單幹，要麼專門打標籤，要麼專門摳圖。現在，微軟正式把這個底座塞進了 Azure 認知服務的 Vision API 裡，向現有的 Azure 客戶開放預覽。

按照 Azure AI 負責人 John Montgomery 的說法，Florence 是用數十億圖文對訓練出來的。它不僅能一眼認出兩張蘋果照片裡哪個是宇宙脆、哪個是蜜脆，還能直接在一長段影片裡精準找出你想要的那一幀。

認得出蘋果品種，也看得懂影片

傳統的做法往往很彆扭：讓一個模型專看圖，另一個模型專管文字，然後把它們硬接在一起。微軟這次主推的則是統一的多模態路徑。

Florence 能同時理解文本、影像和影片之間的對應關係。它可以直接計算圖文相似度，完成背景消除、影片摘要，或者把照片裡摳出來的人物精確貼到另一張背景上。

在底層訓練資料上，Montgomery 沒有透露具體來源，只表示資料來自合作伙伴且經過了合規獲取和過濾，去除了潛在違規內容，並且套用了跟 Azure OpenAI 服務一樣的安全稽核機制。

Reddit 和微軟全家桶先用上了

最先拿它跑業務的是社交平臺 Reddit。Reddit 計劃用 Florence 給社群裡的海量圖片自動生成無障礙替代文字（alt text），方便視力受損的使用者聽帖。

據稱 Florence 單張圖片最多能打出 10,000 個標籤。Reddit 不僅要用它給圖片寫描述，還打算把這些自動生成的圖文描述用在站內的搜尋排序上，讓以前搜不出來的圖片貼更容易被翻出來。

微軟自家的產品也全都接了進來。LinkedIn 同樣拿它寫圖片描述；Teams 靠它做影片分割；Word、PowerPoint 和 Outlook 接入了自動生成 alt text；OneDrive 和新推出的圖形設計工具 Designer 則用它來打標籤、以圖搜圖以及生成背景。

未來微軟還打算把這套能力推向製造業的瑕疵檢測，甚至是超市裡的自助結賬。

為什麼重要

我們認為，微軟把 Florence 搬上 Azure，最大的意義在於降低了企業處理海量多模態內容的工程門檻。以往企業如果既想搜圖片、又想做無障礙適配、還想做影片剪輯，通常得串聯三四個小模型，既吃算力又容易丟上下文。現在調一個統一的 API，很多多模態任務就能一站式搞定。

對於像 Reddit 這樣揹負著海量 UGC 內容的平臺來說，這不僅是做無障礙的善意，更是在盤活多年沉澱下來的非結構化影像資產。把圖片自動轉化成精細的文本標籤，搜尋引擎才能真正看懂內容，進而撬動推薦和商業化。

但隱患依然存在。數十億圖文對的版權出處在業內極其敏感，微軟含糊帶過的負責任獲取並沒有徹底消除潛在的版權風險。同時，單圖萬個標籤雖然聽起來全面，但如何避免生成冗餘的幻覺噪點，企業在接入時仍然需要自己做一層工程過濾。