Google、Gemini 3 Flashに「Agentic Vision」追加：コード実行で画像を拡大・検証

高解像度の建築図面や基板の写真をAIに渡し、隅にある小さなシリアル番号を読み取らせようとすると、これまでのモデルは高確率で適当な推測をしていました。従来のマルチモーダルAIは画像を一度だけ全体的に見渡す仕様になっており、縮小処理でつぶれた微細な情報は推測に頼るしかなかったためです。

Googleは1月27日、Gemini 3 Flashに新機能「Agentic Vision」を導入したと発表しました。画像を一度見て終わりにするのではなく、AI自身にルーペとメモ帳を持たせ、能動的に画像を調査させる仕組みです。

Pythonコードで画像を能動的に調べる

Agentic Visionの本質は、画像認識を思考、行動、観察という自律的なループに変えた点にあります。

Gemini 3 Flashはユーザーの指示と画像を受け取ると、まず調査計画を立てます。次にバックエンドでPythonコードを生成して実行し、画像の特定箇所を切り抜いたり、回転させたり、バウンディングボックスを描き込んだりします。

切り抜かれた拡大画像はそのままコンテキストに追加されます。モデルはその高解像度画像を改めて観察したうえで最終回答を組み立てるため、推測ではなく視覚的根拠に基づいた回答が可能になります。Googleによると、コード実行を有効化するだけで大半の視覚ベンチマークで精度が5%から10%向上するとのことです。

この仕組みは視覚的な下書きとしても機能します。手の指の数を数えるタスクでは、モデルがコードを書いて指1本ずつに枠と番号を描き込み、数え間違いを防ぎます。建築図面検証プラットフォームのPlanCheckSolverでは、屋根の端などを段階的に拡大・検証させることで、建築基準の判定精度が5%改善したと報告されています。

自律動作の範囲と今後の課題

もっとも、現段階ではすべてが自動化されているわけではありません。

Gemini 3 Flashは微細な情報を検出した際に自発的に拡大する判断を行えますが、画像を回転させたり視覚的な計算を行ったりする挙動は、現状プロンプトによる明示的な指示が必要になります。

また、現在は軽量モデルであるGemini 3 Flashで先行展開されており、Google AI StudioやVertex AIでコード実行を有効にすることで利用できます。GeminiアプリでもThinkingモード経由で順次利用可能になりますが、画像検索などの外部ツール連携や上位モデルへの展開は今後の課題として残されています。

なぜ重要か

私たちは、今回のGoogleのアプローチを極めて合理的で実用的な進化だと評価しています。

これまで画像の詳細を捉えようとすると、超高解像度をそのまま扱える巨大なビジョンエンコーダーを設計するか、膨大な計算資源を注ぎ込むのが一般的でした。しかしGoogleは、見えないならPythonで画像をトリミングし、数えられないならスクリプトで枠を描くという、決定論的なコード実行にタスクを委譲する道を選びました。この工夫により、推論コストを抑えながら視覚ハルシネーションを劇的に減らすことに成功しています。

ユーザーや開発者にとっては、図面精査、回路検査、領収書や帳票の照合といった、絶対に間違えられない業務でようやく実用レベルに達したことを意味します。AIがどのように拡大し、どこに印をつけて答えを出したのかがコード実行ログとして残るため、検証性も格段に高まります。

今後は他社も同様の能動的視覚エージェント機能の追従を迫られるはずです。複数回のコード実行と再読み込みを挟むため応答速度の面でトレードオフは生じますが、正確性が求められる実務分野において、このアプローチが今後の標準になっていくと考えられます。