Operaがブラウザ操作AI「Browser Operator」公開：画面解析ではなくDOM操作で自律動作

ウェブブラウザの操作をAIに任せようとすると、画面キャプチャをクラウドに送ってマウス操作をシミュレートする重たい仕組みになりがちでした。

Operaは3月3日、ブラウザ内で直接タスクを代行するAIエージェント「Browser Operator」のプレビューを公開しました。サイドバーやコマンドラインから自然言語で指示を出すだけで、買い物やチケット予約、情報収集をこなしてくれます。

画面を見ずに「HTMLの骨組み」を直接読む

現在他社がテストしているエージェントの多くは、画面のスクリーンショットをAIに見せてマウスカーソルを動かす方式をとっています。この方法だと動作がもたつき、スクロールしないと見えない情報を取りこぼす弱点がありました。

これに対してOperaのBrowser Operatorは、ユーザーのローカル環境で直接動作します。画面のピクセルを見るのではなく、ウェブページのDOMツリーとレイアウトデータ、つまりページのテキスト構造を直接読み取ります。

このアプローチにより、ページをスクロールすることなく全体を一瞬で把握できます。さらに、画面の手前に表示されるCookie承諾のポップアップなどに邪魔されることなく、裏側の要素を直接操作できるため、完了までの速度が大幅に向上します。

ログイン状態やCookie、閲覧履歴がクラウドの仮想マシンに送られることもなく、すべて手元の端末内で完結する点も大きな特徴です。

決済やパスワード入力では確実に一時停止

いくら便利でも、勝手にお金を決済されては困ります。Operaは機密情報の入力時に必ず人間が介入する仕組みを取り入れました。

例えば靴下を購入するよう指示した場合、カートへの追加まではAIが進めますが、クレジットカード情報やパスワードの入力、最終的な購入確認の段階になると自動で一時停止します。

ユーザーが手動で決済情報を入力している間、キーストロークや入力データがAIやサーバーに送信されることはありません。入力後に再開ボタンを押すだけで、AIが残りの処理を引き継ぎます。間違った注文をした場合も、チャットで「今の注文をキャンセルして」と伝えるだけで対応可能です。

なぜ重要か

ブラウザエージェントの実装として、非常に現実的でスマートなアプローチだと評価できます。

これまでの画像認識ベースの自律型エージェントは、処理が遅いうえにサーバーコストも高く、実用にはまだ遠い印象がありました。Operaのようにブラウザベンダー自らが「DOMを直接解析する」道を選んだことで、プライバシーを守りながら高速な操作が可能になります。日頃からフォーム入力や情報集めに追われている人にとっては、試す価値のある進化です。

一方で、現代のウェブサイトは複雑なJavaScriptや難読化されたフレームワーク、高度なbot対策が張り巡らされています。見た目のピクセルではなくDOMに依存する設計が、どこまでトリッキーなサイトに対応できるかはまだ不透明です。日常のメインブラウザを移行させるほどの決定打になるかどうかは、正式リリース後の実用性に懸かっています。