구글, 시각·공간 추론 능력 강화한 '제미나이 3 프로' 공개

지금까지의 멀티모달 모델은 사진 속 사물을 구별하는 수준에는 능했지만, 복잡하게 얽힌 재무제표 차트를 해석하거나 빠르게 지나가는 영상 속 동작을 정밀하게 분석하는 데는 한계를 보였습니다.

Google이 12월 5일 Gemini 3 Pro의 시각 인공지능 성능을 공개했습니다. Google은 이번 모델이 단순한 이미지 인식을 넘어 진정한 시각 및 공간 추론으로 도약했다고 설명합니다. MMMU Pro와 Video MMMU 등 주요 비전 벤치마크에서 최고 기록을 경신했으며, 문서 이해, 공간 인식, 화면 제어, 고프레임 영상 처리 전반을 강화했습니다.

문서 역렌더링과 픽셀 단위 좌표 인식

실제 업무에서 쓰이는 문서는 손글씨와 표, 수식이 불규칙하게 뒤섞여 있어 처리가 까다롭습니다. Gemini 3 Pro는 시각적 문서를 HTML, LaTeX, Markdown 같은 구조화된 코드로 복원하는 역렌더링 능력을 갖췄습니다. 18세기 상인의 필기 장부를 표로 정리하거나, 손으로 쓴 수학 공식을 LaTeX 코드로 변환해 냅니다.

차트 추론 벤치마크인 CharXiv에서는 80.5%를 기록해 인간 기준치를 넘어섰습니다. 62페이지 분량의 미국 인구조사국 소득 보고서를 통째로 분석해 지니계수의 변동 추이와 원인을 표와 차트를 오가며 단계별로 추론하는 작업이 가능합니다.

공간 이해 측면에서는 픽셀 단위의 정밀한 2D 좌표를 출력합니다. 점을 이어 사람의 자세를 추정하거나 동선을 추적할 수 있습니다. 로봇에게 어지러운 테이블의 쓰레기 분류 계획을 세우게 하거나, AR 기기에서 설명서를 기반으로 조여야 할 나사를 짚어주는 식의 지시가 가능합니다. 화면 속 UI 요소를 정확히 짚어내는 성능은 업무 자동화나 소프트웨어 테스트용 컴퓨터 조작 에이전트의 안정성을 높입니다.

10 FPS 영상 추론과 토큰 비용 제어

영상 분석 성능도 크게 뛰었습니다. 초당 1프레임 미만으로 샘플링하던 기존 방식에서 벗어나 기본 처리 속도의 10배인 10 FPS 처리를 최적화했습니다. 골프 스윙 시 체중 이동처럼 눈 깜짝할 사이에 일어나는 세밀한 움직임까지 포착합니다. 고도화된 생각 모드를 적용해 영상 속 사건의 인과관계를 추론하며, 긴 영상을 분석해 실제 동작하는 앱이나 코드로 바꿔주기도 합니다.

개발자를 위한 비용 제어 장치도 마련했습니다. 원본 가로세로 비율을 유지하면서, media_resolution 파라미터를 통해 해상도를 조절할 수 있습니다. 정밀한 문서 인식에는 고해상도를, 일반적인 장면 인식에는 저해상도를 적용해 시각 토큰 소모량과 응답 지연 시간을 조절할 수 있습니다.

왜 중요한가

우리는 Google이 막연한 멀티모달 경쟁을 넘어 기업들이 즉각 도입할 수 있는 실용적인 기능에 집중했다고 봅니다. 복잡한 보고서 분석, 화면 기반 자동화, 스포츠 및 동작 분석 등은 기업들이 높은 컴퓨팅 비용을 감수하더라도 도입하려는 핵심 분야입니다.

특히 media_resolution 옵션은 매우 현실적인 기능입니다. 시각 토큰 비용은 개발자들이 비전 모델을 프로덕션 환경에 올릴 때 가장 큰 걸림돌이었습니다. 해상도 제어권을 개발자에게 넘김으로써 불필요한 비용 낭비를 막을 수 있게 되었습니다. 문서를 구조화 코드로 곧바로 변환하는 역렌더링 역시 기존의 복잡한 전처리 파이프라인을 크게 단순화할 수 있습니다.

이는 Anthropic의 Computer Use 기능과 OpenAI의 멀티모달 라인업을 정조준하는 행보입니다. 특히 방대한 동영상 생태계를 쥔 Google이 10 FPS 수준의 영상 추론을 본격화하면서 동영상 기반 에이전트 시장에서 유리한 고지를 점할 것으로 보입니다. 다만 고프레임 영상을 추론 모드로 처리할 때 발생하는 지연 시간과 실제 비용이 얼마나 합리적일지는 현장 테스트를 통해 검증이 필요합니다.