Gemini 3 Flash 上線 Agentic Vision:自己寫程式碼放大看圖,得分提 10%
Google 在 Gemini 3 Flash 中推出 Agentic Vision。它把靜態看圖變成「思考-行動-觀察」迴圈,AI 能自己寫 Python 程式碼主動裁剪、放大區域性甚至在圖上畫框計數,主流視覺基準得分提升 5% 到 10%。該功能已在 Google AI Studio 和 Gemini App 上線。

如果你把一張高解析度建築圖紙或者複雜的微電子電路板扔給大模型,讓它找出一個角落裡的細小編號,以前的 AI 大機率會開始胡說八道。不是它理解能力不夠,而是它通常只能把整張圖片當成一個固定網格,眯著眼睛掃一遍。要是那個關鍵細節太小、在壓縮中糊掉了,它就只能憑機率瞎猜。
Google 在 Gemini 3 Flash 上推出了一個叫 Agentic Vision 的新能力。說白了,就是不再讓 AI 只看一眼圖片就交卷,而是給它遞上了一把放大鏡和一張草稿紙,讓它像人類排查線索一樣去反覆折騰這張圖。
把它當成調查員,而不是監視器
Agentic Vision 的核心邏輯是把看圖變成一個思考、行動、再觀察的閉環。
在這個迴圈裡,Gemini 3 Flash 拿到圖片和問題後,會先想好調查步驟。接著,它會在後臺自己編寫並執行 Python 程式碼,主動去裁剪區域性、旋轉角度,或者給關鍵目標打上標記。
裁剪出來的放大圖會被重新塞回模型的上下文窗口裡。這意味著模型能夠看清剛剛拿放大鏡截下來的高畫質細節,基於真實的視覺證據做第二次、第三次研判,最後再給出結論。
Google 表示,僅僅在 Gemini 3 Flash 上開啟程式碼執行功能,就能在絕大多數視覺基準測試中換來 5% 到 10% 的準確率提升。
除了主動放大區域性,這項能力還能充當視覺草稿紙。比如在 Gemini 官方演示裡,讓模型數清圖片裡手掌的手指數量時,為了防止數暈,模型會直接寫程式碼在每根手指上畫出檢測框並打上數字標號,確認無誤再輸出答案。
遇到高密度的對比表格時,它甚至會寫 Python 指令碼對資料進行歸一化計算,並用程式碼畫出標準的柱狀圖,把原本靠猜的多步驟視覺算術變成了確定性的程式運算。一家名為 PlanCheckSolver 的建築圖紙稽核平臺透露,在接入這項功能後,系統稽核複雜建築規範的準確度直接拉高了 5%。
現在還得靠提示詞推一把
不過,目前的 Agentic Vision 還不算完全體。
按照 Google 的說法,Gemini 3 Flash 現在已經能夠自主判斷什麼時候需要放大圖片看細節,不需要人類插手。但如果涉及旋轉圖片角度、或者做複雜的視覺數學分析,往往還需要你在提示詞裡推它一把,顯式地提醒它去呼叫工具。
另外,目前這項功能首發在相對輕量的 Gemini 3 Flash 上。雖然開發者已經可以在 Google AI Studio 和 Vertex AI 勾選程式碼執行來呼叫,普通使用者在 Gemini 應用裡切到 Thinking 模式也能逐步體驗到,但 Google 承諾的網頁搜尋工具結合、反向搜圖以及更大尺寸模型的適配,都還得等後續更新。
為什麼重要
我們認為,Google 這次給多模態大模型指出了一條非常務實、且極具價效比的演進路線。
以前整個行業在解決視覺細節問題時,思路往往是硬碰硬:要麼把上下文視窗做大硬吞超高解析度影像,要麼瘋狂堆視覺編碼器的引數。但這種做法不僅貴得嚇人,推理延遲也會被拖垮。Google 的聰明之處在於借力打力,模型看不清就寫幾行程式碼裁圖,算不準就寫指令碼算數,用幾行幾乎零成本的 Python 程式碼,把機率性的胡思亂想變成了確定性的邏輯執行。
對開發者和企業使用者來說,這項功能的價值在於把過去不可用的場景變得可用了。工程圖紙審查、晶片元器件質檢、發票與複雜票據核驗,這些場景以前哪怕有 90% 的準確率也沒人敢在生產環境用,因為那 10% 的盲猜代價太高。現在 Gemini 3 Flash 給出的答案帶上了裁剪痕跡和框選草稿,結果可核查,試錯成本大大降低。
這一步也會逼著競爭對手改變多模態的評測標準。未來的多模態模型比拼的可能不再是誰的一眼感知更強,而是誰把外部工具用得更像個熟練工。當然,多輪程式碼執行和反覆傳圖不可避免會增加請求延遲和呼叫成本,在對響應速度要求極高的互動場景下,怎麼平衡調查精細度與等待時間,會是開發者接下來需要精打細算的問題。
來源 (1)
- blog.google(在新分頁開啟)原文blog.google