Google 推出 Gemini 智能体视频理解：Token 砍掉 88%，成本降 66%

如果你以前让大模型分析过长视频，大概体会过那种两难：要么按每秒一帧老老实实抽帧送进去，几十万甚至上百万 token 眨眼就烧没了；要么为了省钱把采样率降到几秒一帧，结果正好把关键画面给漏了。

Google 宣布为旗下的 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上线代理式视频理解能力。简单说，就是不再逼着模型像老式录像机一样傻傻地从头看到尾，而是给它一套遥控器，让它自己决定看哪一段。

让 AI 自己拿遥控器快进和慢放

过去的视频大模型大多采用静态处理模式。API 默认把视频以每秒 1 帧的固定频率切开，不管前面是半小时枯燥的黑屏还是激烈的对抗，都是均匀采样灌给模型。

这次 Google 改用代理式循环机制。当用户提出一个问题时，Gemini 会根据目标主动发起检索，自己决定什么时候听音频、什么时候扫字幕、什么时候调取具体画面。

如果发现某几秒钟有疑似目标，它还可以通过原生内部工具，单独对这个时间窗进行高帧率重新采样。比如在找微小异常或者快速动作时，它可以瞬间把局部放大到亚秒级精度，而不用把整部片子都以高帧率塞进上下文。

根据 Google 公布的基准测试数据，这种动态调用的方式在标准视频分析任务中，能帮开发者最高节省 88% 的 token 消耗，整体分析成本最高降低 66%，准确率反而提升了最高 7%。在三款支持的模型里，Gemini 3.7 Flash 拿下了准确率与成本综合表现最优的帕累托前沿。

调个参数就能用，未来还要塞进 YouTube

这项功能目前已经向 Google AI Studio 和 Gemini Enterprise Agent Platform 的开发者开放，支持直接上传视频文件或传入 YouTube 视频链接。

接入方式非常轻量，开发者不需要自己去写视频切片、关键帧提取或者工具调用的逻辑，只需要在调用 Gemini API 时把 processing 参数设为 agentic。计费方面也没有额外的功能附加费，完全按照模型实际消耗的 token 标准结算。

Google 还在博客中提到，这项能力很快会推给 Gemini 官方应用的全部普通用户，未来几个月内还会直接整合到 YouTube 播放页的「Ask YouTube」功能里，让观众能直接针对视频画面提问。

为什么重要

我们认为，Google 这次做的事情，本质上是在用 Agent 架构去降维解决多模态大模型的「吞吐之痛」。

视频分析一直是大模型落地里最昂贵的场景之一。以前企业想做长视频内容审核、安防回溯或者长录屏操作解析，光是算力账单就能把项目劝退。现在通过让模型自主抽帧和多模态切换，90 分钟的讲座或者几个小时的录像不再需要堆砌数百万 token，分析成本直接砍掉三分之二，这让原本经济上不划算的视频二次处理彻底变得可行。

更有意思的是行业层面的卡位。以前很多开发者为了省钱，会在大模型外面自己用 Python、OpenCV 和音频转写拼一套提取管线，这本身是一门专门的技术活。Google 现在直接把这套工作流做成了模型的内部原生工具，一键配置就能完成，看起来是在把外围工具链的价值往模型底座里收拢。

不过这也对模型的任务规划能力提出了更高要求。动态检索虽然省钱，但一旦模型的初步判断失误，在搜索字幕或音频阶段就漏掉了线索，可能根本就不会去触发高精度画面的加载。如何在极低采样下保证不漏检，仍然需要开发者在复杂的长视频场景里实际验证。