Google 釋出 Gemini 3 Pro:主打視覺推理,支援畫素級定位與高幀率影片
Google 釋出多模態模型 Gemini 3 Pro,主打物理空間與影片推理。模型支援輸出畫素級座標以輔助機器人和螢幕操作,影片解析取樣提升至 10 FPS,還能將複雜文件直接反向解析為 LaTeX 或程式碼。

以前讓大模型看圖,它最多告訴你「圖裡有一隻貓」或者把字抄下來。真遇到密密麻麻的財報折線圖、手寫公式,或者一段飛速揮杆的高爾夫影片,模型往往就開始胡說八道。
Google 在 12 月 5 日釋出了 Gemini 3 Pro 的視覺能力更新。按照官方的說法,這次迭代直接跨過了單純的影像識別,開始走向真正的空間與因果推理。新模型在 MMMU Pro、Video MMMU 等主流視覺基準上重新整理了紀錄,重點補齊了文件解析、空間定位、螢幕操作以及高幀率影片四大能力。
逆向工程文件與畫素級「指哪打哪」
現實裡的文件往往亂七八糟,手寫筆記、非線性排版、巢狀表格混在一起。Gemini 3 Pro 這次拿出了所謂「反渲染」能力,也就是直接把影像逆向解析成 HTML、LaTeX 或 Markdown 程式碼。比如把 18 世紀的手寫商人賬本還原成規整表格,或者把草稿紙上的手寫公式直接變成 LaTeX 程式碼。
在圖表推理基準 CharXiv 上,Gemini 3 Pro 拿下了 80.5% 的得分,官方表示這已經超過了人類基準線。給它一份 62 頁的美國人口普查收入報告,它能自己對比兩年的基尼係數變動,並推匯出稅後資料分歧的原因。
空間理解方面,模型不再只給模糊的大致範圍,而是可以直接輸出畫素級精準的 2D 座標。幾個座標連起來就能做人體姿態估計或動作軌跡追蹤。在機器人和 AR 場景下,使用者可以說「看著這堆亂七八糟的桌子,給個垃圾分類方案」,或者戴著眼鏡問「按照說明書,指給我看該擰哪個螺絲」。
螢幕理解也順理成章地提升了。它能高精度識別桌面和手機作業系統的 UI 介面並點選對應位置,這顯然是衝著自動化 Agent、軟體測試和自動引導去的。
拆解 10 幀影片,還能自己挑解析度
看影片是這次提升最大的地方。以前大模型看影片通常按每秒一幀甚至更低來抽樣,很多瞬時動作直接漏掉。Gemini 3 Pro 將取樣率提升到了 10 FPS,也就是預設速度的 10 倍,官方演示用它來拆解高爾夫球手的揮杆軌跡和重心轉移。
配合升級後的「思考模式」,模型不再只是給影片打標籤,而是能推導因果關係,理解一件事為什麼發生。它還能把長影片內容直接轉成可執行的應用或程式碼。
對於開發者來說,一個很實用的新功能是 media_resolution 引數。模型現在會保留圖片的原始寬高比,並且允許開發者按需調整解析度。需要做精細 OCR 或複雜文件分析時開高解析度,普通的場景識別或超長上下文時切到低解析度,以此來控制 token 消耗和響應延遲。
在垂直行業應用上,新模型刷榜了 MedXpertQA-MM、放射影像問答 VQA-RAD 以及顯微鏡生物研究的 MicroVQA,在教育領域也能直接在學生上傳的作業照片上圈出具體錯在哪一步。
為什麼重要
我們認為,Google 這次對 Gemini 3 Pro 視覺能力的打磨非常務實。它沒有去卷空泛的多模態概念,而是把勁全使在了最有商業價值的場景上:報表理解、螢幕自動化、高幀率影片動作分析。
對開發者和企業來說,文件「反渲染」和高精度的螢幕座標意味著很多原本需要拼湊好幾個專用 OCR 和檢測模型的工作流,現在可以收攏到一個通用大模型裡。特別是 media_resolution 引數的開放,說明 Google 清楚視覺 token 成本是阻礙開發者落地的最大痛點,給開發者留出了成本調優的閥門。
從行業競爭來看,這直接對標了 Anthropic 之前主打的 Computer Use 和複雜長文件分析能力,同時也向 OpenAI 的多模態能力施壓。Google 坐擁影片和瀏覽器生態,如果把高幀率影片理解與精確的 UI 互動結合起來,未來在自主作業系統的 Agent 落地速度上可能會比對手更快。
不過隱患同樣存在。影片提到 10 FPS 雖然細節豐富,但處理極長影片時的推理成本和計算延遲到底有多高,官方並沒有公佈明確的開銷賬單。對於普通團隊來說,在真實生產環境裡跑這種高精度的視覺推理,可能依然需要先仔細算一算賬。
來源 (1)
- blog.google(在新分頁開啟)原文blog.google