Google、視覚推論を大幅強化した「Gemini 3 Pro」を発表

これまでのマルチモーダルAIは、画像の中に何が写っているかを言い当てることはできても、入り組んだ財務諸表のグラフを読み解いたり、素早い動きの動画を正確に追跡したりすることは苦手でした。

Googleは12月5日、Gemini 3 Proのビジョン機能を発表しました。Googleはこれを単なる画像認識から真の視覚的・空間的推論への飛躍と位置づけています。MMMU ProやVideo MMMUといった主要ベンチマークで最高記録を更新し、文書解析、空間把握、画面操作、高フレームレート動画の4分野を大幅に強化しました。

文書の逆レンダリングとピクセル精度の空間把握

手書き文字や複雑な表、不規則なレイアウトが混ざり合う文書の処理は、AIにとって難関でした。Gemini 3 Proは「デレンダリング」と呼ばれる機能を備え、見たままの文書をHTMLやLaTeX、Markdownなどの構造化コードに逆変換します。18世紀の商人による手書き台帳を表データ化したり、殴り書きの数式を正確なLaTeXコードに落とし込んだりできます。

グラフ推論のベンチマークであるCharXivでは80.5%を記録し、人間のベースラインを上回りました。62ページにおよぶ米国国勢調査局の所得報告書を読み込ませ、ジニ指数の変化やその要因を複数の表を横断して推論させるといったタスクをこなします。

空間把握では、ピクセル精度の2D座標を出力できるようになりました。これらを連続させることで人体のポーズ推定や動作軌跡の追跡が可能です。ロボティクス分野では散らかった机のゴミの分別指示を生成したり、AR機器でマニュアルを参照しながら締めるべきネジを指し示したりできます。この空間把握力はPCやスマートフォンの画面理解にも活かされており、UI要素を正確にクリックする自動操作エージェントへの応用が想定されています。

10 FPS動画の因果推論とトークン管理

動画解析における大きな進化はフレームレートの向上です。従来の標準的な処理速度の10倍となる10 FPSで動画を処理できるため、ゴルフスイングの体重移動のような瞬間的な挙動も逃しません。「思考モード」と組み合わせることで、動画内で何が起きたかだけでなく、なぜそれが起きたのかという因果関係まで追跡できます。さらに、長尺動画から知識を抽出して実行可能なアプリやコードに変換することも可能です。

開発者向けには、画像のアスペクト比を維持したまま処理する仕組みに加え、media_resolutionパラメータが導入されました。緻密な文字認識が必要なときは高解像度、大まかな情景認識や長文脈処理のときは低解像度を選択することで、視覚トークンの消費量と遅延を調整できます。

なぜ重要か

私たちは、Googleが今回のアップデートで実用性とビジネス価値の高い領域に照準を絞ってきたと見ています。単なる画像の説明にとどまらず、複雑なPDFの解析、画面操作、素早い動作の動画解析という、企業が最も自動化を望んでいる領域に踏み込みました。

特にmedia_resolutionパラメータの提供は賢明な判断です。画像や動画のトークン消費は開発者の大きな負担になっており、解像度の制御を開発者側に委ねることで、コストと精度のバランスを取りやすくしました。また、文書を構造化コードへ直接変換できる能力は、これまで複数のOCRツールを組み合わせていたパイプラインを単一モデルに集約できる可能性を秘めています。

競合であるAnthropicのComputer Use機能やOpenAIのマルチモーダル機能に対しても強いプレッシャーになります。動画プラットフォームを自社で抱えるGoogleにとって、動画推論の進化は最大の強みです。ただし、10 FPSでの高精度処理や長大な推論ステップが実際にどれほどのレイテンシと運用コストをもたらすかは注意深く見極める必要があります。