Google 演示 Gemini 2.5 影像分割:動嘴就能圈出「最遠的車」
Google 介紹了 Gemini 2.5 的對話式影像分割能力。它不再只是把單個名詞對應到畫素,而是能理解「左數第三本書」「沒戴安全帽的人」乃至「受損部位」等複雜關係與抽象概念。開發者無需單獨訓練分割模型,調一次 API 就能拿到精確畫素掩碼。

以前想讓 AI 在圖裡摳出一樣東西,你得像個程式設計師一樣輸入標準名詞,比如「汽車」或者「貓」。後來模型聰明了一點,能認出「藍色滑雪靴」這種冷門詞,但你要是跟它說「從左數第三本書」或者「花束裡最蔫的那朵花」,它基本就抓瞎了。
Google 宣佈在 Gemini 2.5 上支援對話式影像分割。簡單來說,現在它不僅能看懂畫面裡的畫素,還能聽懂你帶著修辭、空間位置和邏輯關係的複雜人話,然後精準把那個物體的輪廓摳出來。
能聽懂人話的畫素級剪刀
傳統的影像分割模型本質上是在做名詞匹配,而 Gemini 2.5 這次解決的是更棘手的指代表達分割。這意味著它必須先把整句話的邏輯拆解開,再去畫面裡找對應關係。
根據 Google 的介紹,這次的能力大致覆蓋了五種複雜的提問方式。首先是相對位置和關係理解,比如你可以直接命令它標出「拿雨傘的人」或者「從左數第三本書」。
其次是帶有比較屬性和條件邏輯的指令。比如「花束裡最枯萎的那朵花」,甚至帶否定的句子,比如「畫面裡所有沒坐著的人」。模型不是隻認人體,而是要把動作狀態和否定詞一起算進去。
更厲害的是它能呼叫世界知識去理解抽象概念。比如你讓它圈出「受惡劣天氣損壞的房屋」,損壞本身沒有統一的長相,但 Gemini 能把特定凹痕與普通的生鏽或反光區分開來。
另外,因為集成了文字識別能力,它還能根據畫面裡招牌或包裝上的文字來挑出對應物體,並且支援多語言輸入。
開發者調一個 API 就能用
對開發者來說,以前要做這種功能,往往需要自己串聯檢測模型、SAM 分割模型以及多模態大模型,鏈路很長,部署成本也高。
現在 Google 把這項能力整合到了單個 API 裡。官方推薦直接使用 gemini-2.5-flash 模型,並且建議把思考預算設為零,直接要求模型以 JSON 格式輸出包含二維邊界框、掩碼和描述性標籤的資料。
目前這項功能已經在 Google AI Studio 開放互動體驗,官方也同步放出了 Python 的 Colab 筆記本供人直接上手測試。
實際應用場景也很直接。設計師以後不需要再拿著磁性套索工具摳半天,可以直接打字說「選出大樓投下的陰影」;工廠安全系統可以用一句話標出「車間裡沒戴安全帽的員工」;保險理賠員也能用它自動篩查受損建築。
為什麼重要
我們認為,這項更新看起來只是分割工具的升級,但它切中了一個很痛的工程斷層。
在過去,大模型雖然能對圖片高談闊論,但落到工業界需要精確執行的地方,大家還是得退回去用專門的計算機視覺小模型。Gemini 2.5 把高層語義推理直接下沉到了畫素掩碼級別,等於把感知和執行融在了一起。
對開發者和中小團隊來說,現在不需要自己去訓練、維護一套複雜的視覺管線,只靠一個輕量的 flash 級別 API 就能搭出以往大廠才能做的業務,試錯成本大大降低。
它的聰明之處在於把常識推理和視覺分割結合。比如區分什麼是「損壞」、什麼是「雜亂」,這是傳統視覺模型很難用固定標籤學會的。
不過隱患也在這裡。當系統依賴大模型的常識去判斷安全隱患或保險定損時,模型的主觀偏差和幻覺就會直接變成業務差錯。如果它把普通的汙漬誤判成暴風雨損壞,理賠流程就可能出問題。所以在嚴謹的生產環境裡,人工複核依然少不了。
來源 (1)
- developers.googleblog.com(在新分頁開啟)原文developers.googleblog.com