Google 釋出 Vision Banana：把影像分割與深度預測做成「生圖任務」

過去計算機視覺界一直有個預設的分工：要畫畫就去找生圖模型，要認東西、測距離或者摳圖，就去訓練專門的檢測和分割模型。

Google 剛剛釋出的 Vision Banana，想把這堵牆徹底拆掉。

Google 團隊釋出了這篇名為《Image Generators are Generalist Vision Learners》的研究，並推出了影像理解與生成統一模型 Vision Banana。它基於 Nano Banana Pro 微調而來，最有趣的地方在於，它把所有的視覺感知任務，全都當成了「生圖任務」來做。

把看懂世界變成畫一張圖

傳統的計算機視覺在做語義分割或者深度估計時，往往需要設計專門的預測頭，輸出特定格式的數值矩陣。

Vision Banana 的思路完全不同。它把所有視覺任務的輸出空間直接引數化為 RGB 影像。也就是說，給模型一張原圖和一句提示詞，模型給出的回答不是座標或者標籤，而是一張畫出來的圖。

比如你說「分割整隻貓、貓耳朵、鎖和出口標誌」，它就會吐出一張按指定顏色塗好色塊的分割圖。想分割每一個價籤或者每一瓣大蒜，它也能給每一個小物體塗上不同顏色區分開來。

甚至連 3D 幾何理解也是這麼幹的。輸入一張到處是樹葉的凌亂場景，它直接生成細節極其豐富的深度圖，或者畫出每個物體表面朝向的表面法線圖。如果配合相機的內外參，這些生成的度量深度圖甚至能直接反投影成完整的 3D 點雲。

整個過程只需要在 Nano Banana Pro 原有訓練資料的基礎上，混合一小部分視覺任務資料進行輕量級指令微調。原有的生圖能力不僅沒丟，反倒順手掌握了各種感知能力。

專才打不過全才的局面又來了

最讓人驚訝的是它的實際效果。

在零樣本遷移測試中，Vision Banana 在 2D 和 3D 視覺任務上不僅達到了最先進水平，甚至在很多指標上打敗或打平了那些單項冠軍。

在分割任務上，它直接硬剛甚至超越了 Meta 家大名鼎鼎的 Segment Anything Model 3。在深度估計上，也完全不輸 Depth Anything 系列或者 Depth Pro 這類專業深度估算模型。

這一幕幾乎就是大語言模型歷史的重演：當年大家也以為翻譯、摘要和問答需要各自的模型，後來才發現只要文本生成底座足夠大，靠生成就能搞定所有語言任務。現在，生圖模型似乎正在計算機視覺領域走通同一條路。

為什麼重要

我們認為，Vision Banana 最大的價值在於它可能改變了計算機視覺的基礎範式。

長久以來，業內雖然猜想「能畫出逼真畫面的模型一定懂世界」，但始終缺乏強有力的證據。Vision Banana 證明了影像生成預訓練本身就是一個通用的視覺學習器，生圖模型完全可以扮演基礎視覺大模型的底座。

對開發者和下游應用來說，這意味著未來不需要為了分割、深度估計、法線檢測分別載入三四個龐大的專用模型，一個統一的生成介面就能完成從看懂到編輯的全流程。

不過目前它依然處於學術研究與演示階段，輸出為影像也意味著可能存在精度量化和推理計算開銷的問題。但無論如何，這場由生成式模型吞噬感知任務的變革，已經正式開始了。