Google、画面を自律操作する「Gemini 2.5 Computer Use」公開　低遅延でWebやスマホUIを操作

AIはコードを書くことには長けていますが、APIが用意されていないレガシーなWebサイトでフォームを入力したり、ドロップダウンを操作したりする作業は苦手としてきました。

Googleはこうした課題を解決するため、新しい特化型モデル「Gemini 2.5 Computer Use」を公開しました。Gemini 2.5 Proの視覚理解力と推論能力をベースに構築されており、AIエージェントが人間と同じように画面を見ながらクリック、スクロール、タイピングを行うことができます。

現在、Google AI StudioおよびVertex AIのGemini APIを通じて、パブリックプレビューとして提供が始まっています。

ブラウザを「見て」「動かす」自律ループ

このモデルは、API内のcomputer_useツールを介して反復ループの中で機能します。

基本的な流れは明快です。ユーザーのリクエスト、画面のスクリーンショット、直近の操作履歴をモデルに送信します。モデルはそれらを分析し、クリックや入力といったUIアクションの関数呼び出しを返します。

クライアント側がその操作を実行すると、新しいスクリーンショットと現在のURLを再びモデルへ送り、次の判断を仰ぎます。タスクが完了するか中断されるまで、このサイクルが繰り返されます。

購入処理のような重要なアクションに対しては、ユーザーへの確認を挟むよう設定することも可能です。なお、現在はWebブラウザに特化して最適化されており、モバイルUIでも高い性能を示す一方、デスクトップOSレベルの操作にはまだ最適化されていません。

速度と安全性への配慮

画面操作エージェントの大きな課題は処理の遅さにありました。BrowserbaseによるOnline-Mind2Webなどのベンチマーク評価によると、Gemini 2.5 Computer Useは競合モデルを上回る精度を維持しつつ、より低いレイテンシを実現しています。

Google社内でもすでに実戦投入されています。ソフトウェア開発を加速するUIテスト自動化のほか、Project MarinerやFirebase Testing Agent、Google検索のAI Modeなどの一部機能ですでに稼働しています。

Web環境でのエージェント操作は、プロンプトインジェクションや詐欺サイトへの遭遇といったリスクが伴います。そのためモデル自体の安全訓練に加え、実行直前のアクションを1ステップずつ検証する推論時セーフティサービスも用意されました。CAPTCHAの回避やシステムの安全性を損なう操作をブロックする制御も可能です。

なぜ重要か

AIエージェントの競争軸が、テキストの生成から「直接UIを動かす」段階へと完全にシフトしたことを示しています。

開発者や自動化を進めたい企業にとって、APIのないレガシーシステムやSaaSをブラウザ経由でつなぐ強力な武器になります。PlaywrightやBrowserbaseと組み合わせることで、これまで手作業で行っていたデータ入力やUI検証を自動化できる価値は非常に大きいです。

デスクトップ全体ではなくWebブラウザに集中したアプローチは、セキュリティ面でも実用面でも理にかなっています。大半の業務はすでにブラウザ上で完結しており、OS全体をAIに委ねるよりリスクを管理しやすいからです。

ただし、本番のWeb環境には複雑な認証や予期せぬポップアップ、動的な画面変化が溢れています。デモやベンチマークの高精度が、荒れた現実のWebサイトでどこまで安定して維持できるかが今後の焦点になります。