跳到正文
IFAI

大模型

Gemini 3 Flash 上线 Agentic Vision:自己写代码放大看图,得分提 10%

首次发布 传播指数 52

Google 在 Gemini 3 Flash 中推出 Agentic Vision。它把静态看图变成「思考-行动-观察」循环,AI 能自己写 Python 代码主动裁剪、放大局部甚至在图上画框计数,主流视觉基准得分提升 5% 到 10%。该功能已在 Google AI Studio 和 Gemini App 上线。

Gemini 3 Flash 上线 Agentic Vision:自己写代码放大看图,得分提 10%
图:blog.google

如果你把一张高分辨率建筑图纸或者复杂的微电子电路板扔给大模型,让它找出一个角落里的细小编号,以前的 AI 大概率会开始胡说八道。不是它理解能力不够,而是它通常只能把整张图片当成一个固定网格,眯着眼睛扫一遍。要是那个关键细节太小、在压缩中糊掉了,它就只能凭概率瞎猜。

Google 在 Gemini 3 Flash 上推出了一个叫 Agentic Vision 的新能力。说白了,就是不再让 AI 只看一眼图片就交卷,而是给它递上了一把放大镜和一张草稿纸,让它像人类排查线索一样去反复折腾这张图。

把它当成调查员,而不是监视器

Agentic Vision 的核心逻辑是把看图变成一个思考、行动、再观察的闭环。

在这个循环里,Gemini 3 Flash 拿到图片和问题后,会先想好调查步骤。接着,它会在后台自己编写并运行 Python 代码,主动去裁剪局部、旋转角度,或者给关键目标打上标记。

裁剪出来的放大图会被重新塞回模型的上下文窗口里。这意味着模型能够看清刚刚拿放大镜截下来的高清细节,基于真实的视觉证据做第二次、第三次研判,最后再给出结论。

Google 表示,仅仅在 Gemini 3 Flash 上打开代码执行功能,就能在绝大多数视觉基准测试中换来 5% 到 10% 的准确率提升。

除了主动放大局部,这项能力还能充当视觉草稿纸。比如在 Gemini 官方演示里,让模型数清图片里手掌的手指数量时,为了防止数晕,模型会直接写代码在每根手指上画出检测框并打上数字标号,确认无误再输出答案。

遇到高密度的对比表格时,它甚至会写 Python 脚本对数据进行归一化计算,并用代码画出标准的柱状图,把原本靠猜的多步骤视觉算术变成了确定性的程序运算。一家名为 PlanCheckSolver 的建筑图纸审核平台透露,在接入这项功能后,系统审核复杂建筑规范的准确度直接拉高了 5%。

现在还得靠提示词推一把

不过,目前的 Agentic Vision 还不算完全体。

按照 Google 的说法,Gemini 3 Flash 现在已经能够自主判断什么时候需要放大图片看细节,不需要人类插手。但如果涉及旋转图片角度、或者做复杂的视觉数学分析,往往还需要你在提示词里推它一把,显式地提醒它去调用工具。

另外,目前这项功能首发在相对轻量的 Gemini 3 Flash 上。虽然开发者已经可以在 Google AI Studio 和 Vertex AI 勾选代码执行来调用,普通用户在 Gemini 应用里切到 Thinking 模式也能逐步体验到,但 Google 承诺的网页搜索工具结合、反向搜图以及更大尺寸模型的适配,都还得等后续更新。

为什么重要

我们认为,Google 这次给多模态大模型指出了一条非常务实、且极具性价比的演进路线。

以前整个行业在解决视觉细节问题时,思路往往是硬碰硬:要么把上下文窗口做大硬吞超高分辨率图像,要么疯狂堆视觉编码器的参数。但这种做法不仅贵得吓人,推理延迟也会被拖垮。Google 的聪明之处在于借力打力,模型看不清就写几行代码裁图,算不准就写脚本算数,用几行几乎零成本的 Python 代码,把概率性的胡思乱想变成了确定性的逻辑执行。

对开发者和企业用户来说,这项功能的价值在于把过去不可用的场景变得可用了。工程图纸审查、芯片元器件质检、发票与复杂票据核验,这些场景以前哪怕有 90% 的准确率也没人敢在生产环境用,因为那 10% 的盲猜代价太高。现在 Gemini 3 Flash 给出的答案带上了裁剪痕迹和框选草稿,结果可核查,试错成本大大降低。

这一步也会逼着竞争对手改变多模态的评测标准。未来的多模态模型比拼的可能不再是谁的一眼感知更强,而是谁把外部工具用得更像个熟练工。当然,多轮代码执行和反复传图不可避免会增加请求延迟和调用成本,在对响应速度要求极高的交互场景下,怎么平衡调查精细度与等待时间,会是开发者接下来需要精打细算的问题。

来源 (1)

  1. [1]
    blog.google(在新标签页打开)原文blog.google

每日 AI 内容精选