跳到正文
IFAI

大模型

Google 演示 Gemini 2.5 图像分割:动嘴就能圈出「最远的车」

首次发布 传播指数 51

Google 介绍了 Gemini 2.5 的对话式图像分割能力。它不再只是把单个名词对应到像素,而是能理解「左数第三本书」「没戴安全帽的人」乃至「受损部位」等复杂关系与抽象概念。开发者无需单独训练分割模型,调一次 API 就能拿到精确像素掩码。

Google 演示 Gemini 2.5 图像分割:动嘴就能圈出「最远的车」
图:developers.googleblog.com

以前想让 AI 在图里抠出一样东西,你得像个程序员一样输入标准名词,比如「汽车」或者「猫」。后来模型聪明了一点,能认出「蓝色滑雪靴」这种冷门词,但你要是跟它说「从左数第三本书」或者「花束里最蔫的那朵花」,它基本就抓瞎了。

Google 宣布在 Gemini 2.5 上支持对话式图像分割。简单来说,现在它不仅能看懂画面里的像素,还能听懂你带着修辞、空间位置和逻辑关系的复杂人话,然后精准把那个物体的轮廓抠出来。

能听懂人话的像素级剪刀

传统的图像分割模型本质上是在做名词匹配,而 Gemini 2.5 这次解决的是更棘手的指代表达分割。这意味着它必须先把整句话的逻辑拆解开,再去画面里找对应关系。

根据 Google 的介绍,这次的能力大致覆盖了五种复杂的提问方式。首先是相对位置和关系理解,比如你可以直接命令它标出「拿雨伞的人」或者「从左数第三本书」。

其次是带有比较属性和条件逻辑的指令。比如「花束里最枯萎的那朵花」,甚至带否定的句子,比如「画面里所有没坐着的人」。模型不是只认人体,而是要把动作状态和否定词一起算进去。

更厉害的是它能调用世界知识去理解抽象概念。比如你让它圈出「受恶劣天气损坏的房屋」,损坏本身没有统一的长相,但 Gemini 能把特定凹痕与普通的生锈或反光区分开来。

另外,因为集成了文字识别能力,它还能根据画面里招牌或包装上的文字来挑出对应物体,并且支持多语言输入。

开发者调一个 API 就能用

对开发者来说,以前要做这种功能,往往需要自己串联检测模型、SAM 分割模型以及多模态大模型,链路很长,部署成本也高。

现在 Google 把这项能力整合到了单个 API 里。官方推荐直接使用 gemini-2.5-flash 模型,并且建议把思考预算设为零,直接要求模型以 JSON 格式输出包含二维边界框、掩码和描述性标签的数据。

目前这项功能已经在 Google AI Studio 开放交互体验,官方也同步放出了 Python 的 Colab 笔记本供人直接上手测试。

实际应用场景也很直接。设计师以后不需要再拿着磁性套索工具抠半天,可以直接打字说「选出大楼投下的阴影」;工厂安全系统可以用一句话标出「车间里没戴安全帽的员工」;保险理赔员也能用它自动筛查受损建筑。

为什么重要

我们认为,这项更新看起来只是分割工具的升级,但它切中了一个很痛的工程断层。

在过去,大模型虽然能对图片高谈阔论,但落到工业界需要精确执行的地方,大家还是得退回去用专门的计算机视觉小模型。Gemini 2.5 把高层语义推理直接下沉到了像素掩码级别,等于把感知和执行融在了一起。

对开发者和中小团队来说,现在不需要自己去训练、维护一套复杂的视觉管线,只靠一个轻量的 flash 级别 API 就能搭出以往大厂才能做的业务,试错成本大大降低。

它的聪明之处在于把常识推理和视觉分割结合。比如区分什么是「损坏」、什么是「杂乱」,这是传统视觉模型很难用固定标签学会的。

不过隐患也在这里。当系统依赖大模型的常识去判断安全隐患或保险定损时,模型的主观偏差和幻觉就会直接变成业务差错。如果它把普通的污渍误判成暴风雨损坏,理赔流程就可能出问题。所以在严谨的生产环境里,人工复核依然少不了。

来源 (1)

  1. [1]
    developers.googleblog.com(在新标签页打开)原文developers.googleblog.com

每日 AI 内容精选