Google 发布 Vision Banana：把图像分割与深度预测做成「生图任务」

过去计算机视觉界一直有个默认的分工：要画画就去找生图模型，要认东西、测距离或者抠图，就去训练专门的检测和分割模型。

Google 刚刚发布的 Vision Banana，想把这堵墙彻底拆掉。

Google 团队发布了这篇名为《Image Generators are Generalist Vision Learners》的研究，并推出了图像理解与生成统一模型 Vision Banana。它基于 Nano Banana Pro 微调而来，最有趣的地方在于，它把所有的视觉感知任务，全都当成了「生图任务」来做。

把看懂世界变成画一张图

传统的计算机视觉在做语义分割或者深度估计时，往往需要设计专门的预测头，输出特定格式的数值矩阵。

Vision Banana 的思路完全不同。它把所有视觉任务的输出空间直接参数化为 RGB 图像。也就是说，给模型一张原图和一句提示词，模型给出的回答不是坐标或者标签，而是一张画出来的图。

比如你说「分割整只猫、猫耳朵、锁和出口标志」，它就会吐出一张按指定颜色涂好色块的分割图。想分割每一个价签或者每一瓣大蒜，它也能给每一个小物体涂上不同颜色区分开来。

甚至连 3D 几何理解也是这么干的。输入一张到处是树叶的凌乱场景，它直接生成细节极其丰富的深度图，或者画出每个物体表面朝向的表面法线图。如果配合相机的内外参，这些生成的度量深度图甚至能直接反投影成完整的 3D 点云。

整个过程只需要在 Nano Banana Pro 原有训练数据的基础上，混合一小部分视觉任务数据进行轻量级指令微调。原有的生图能力不仅没丢，反倒顺手掌握了各种感知能力。

专才打不过全才的局面又来了

最让人惊讶的是它的实际效果。

在零样本迁移测试中，Vision Banana 在 2D 和 3D 视觉任务上不仅达到了最先进水平，甚至在很多指标上打败或打平了那些单项冠军。

在分割任务上，它直接硬刚甚至超越了 Meta 家大名鼎鼎的 Segment Anything Model 3。在深度估计上，也完全不输 Depth Anything 系列或者 Depth Pro 这类专业深度估算模型。

这一幕几乎就是大语言模型历史的重演：当年大家也以为翻译、摘要和问答需要各自的模型，后来才发现只要文本生成底座足够大，靠生成就能搞定所有语言任务。现在，生图模型似乎正在计算机视觉领域走通同一条路。

为什么重要

我们认为，Vision Banana 最大的价值在于它可能改变了计算机视觉的基础范式。

长久以来，业内虽然猜想「能画出逼真画面的模型一定懂世界」，但始终缺乏强有力的证据。Vision Banana 证明了图像生成预训练本身就是一个通用的视觉学习器，生图模型完全可以扮演基础视觉大模型的底座。

对开发者和下游应用来说，这意味着未来不需要为了分割、深度估计、法线检测分别加载三四个庞大的专用模型，一个统一的生成接口就能完成从看懂到编辑的全流程。

不过目前它依然处于学术研究与演示阶段，输出为图像也意味着可能存在精度量化和推理计算开销的问题。但无论如何，这场由生成式模型吞噬感知任务的变革，已经正式开始了。