Google 推出 Gemini 智慧體影片理解：Token 砍掉 88%，成本降 66%

如果你以前讓大模型分析過長影片，大概體會過那種兩難：要麼按每秒一幀老老實實抽幀送進去，幾十萬甚至上百萬 token 眨眼就燒沒了；要麼為了省錢把取樣率降到幾秒一幀，結果正好把關鍵畫面給漏了。

Google 宣佈為旗下的 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上線代理式影片理解能力。簡單說，就是不再逼著模型像老式錄影機一樣傻傻地從頭看到尾，而是給它一套遙控器，讓它自己決定看哪一段。

讓 AI 自己拿遙控器快進和慢放

過去的影片大模型大多采用靜態處理模式。API 預設把影片以每秒 1 幀的固定頻率切開，不管前面是半小時枯燥的黑屏還是激烈的對抗，都是均勻取樣灌給模型。

這次 Google 改用代理式迴圈機制。當用戶提出一個問題時，Gemini 會根據目標主動發起檢索，自己決定什麼時候聽音訊、什麼時候掃字幕、什麼時候調取具體畫面。

如果發現某幾秒鐘有疑似目標，它還可以通過原生內部工具，單獨對這個時間窗進行高幀率重新取樣。比如在找微小異常或者快速動作時，它可以瞬間把區域性放大到亞秒級精度，而不用把整部片子都以高幀率塞進上下文。

根據 Google 公佈的基準測試資料，這種動態呼叫的方式在標準影片分析任務中，能幫開發者最高節省 88% 的 token 消耗，整體分析成本最高降低 66%，準確率反而提升了最高 7%。在三款支援的模型裡，Gemini 3.7 Flash 拿下了準確率與成本綜合表現最優的帕累托前沿。

調個引數就能用，未來還要塞進 YouTube

這項功能目前已經向 Google AI Studio 和 Gemini Enterprise Agent Platform 的開發者開放，支援直接上傳影片檔案或傳入 YouTube 影片連結。

接入方式非常輕量，開發者不需要自己去寫影片切片、關鍵幀提取或者工具呼叫的邏輯，只需要在呼叫 Gemini API 時把 processing 引數設為 agentic。計費方面也沒有額外的功能附加費，完全按照模型實際消耗的 token 標準結算。

Google 還在部落格中提到，這項能力很快會推給 Gemini 官方應用的全部普通使用者，未來幾個月內還會直接整合到 YouTube 播放頁的「Ask YouTube」功能裡，讓觀眾能直接針對影片畫面提問。

為什麼重要

我們認為，Google 這次做的事情，本質上是在用 Agent 架構去降維解決多模態大模型的「吞吐之痛」。

影片分析一直是大模型落地裡最昂貴的場景之一。以前企業想做長影片內容稽核、安防回溯或者長錄屏操作解析，光是算力賬單就能把專案勸退。現在通過讓模型自主抽幀和多模態切換，90 分鐘的講座或者幾個小時的錄影不再需要堆砌數百萬 token，分析成本直接砍掉三分之二，這讓原本經濟上不划算的影片二次處理徹底變得可行。

更有意思的是行業層面的卡位。以前很多開發者為了省錢，會在大模型外面自己用 Python、OpenCV 和音訊轉寫拼一套提取管線，這本身是一門專門的技術活。Google 現在直接把這套工作流做成了模型的內部原生工具，一鍵配置就能完成，看起來是在把外圍工具鏈的價值往模型底座裡收攏。

不過這也對模型的任務規劃能力提出了更高要求。動態檢索雖然省錢，但一旦模型的初步判斷失誤，在搜尋字幕或音訊階段就漏掉了線索，可能根本就不會去觸發高精度畫面的載入。如何在極低取樣下保證不漏檢，仍然需要開發者在複雜的長影片場景裡實際驗證。