Copilot Studioに「Computer use」登場：AIエージェントが画面を直接操作

多くの企業において最も骨の折れる業務は、APIを持たない旧来の業務システムや外部サイトの間で、担当者が画面を見ながら手作業でデータを転記する作業です。

従来のRPAツールでは、Webサイトのボタン配置やデザインが少し変わるだけで処理が止まってしまう脆さがありました。マイクロソフトはこの課題をAIの視覚と推論能力で解決しようとしています。

マイクロソフトは9月15日、Microsoft Copilot Studioにおいて「Computer use（コンピュータ使用）」機能のパブリックプレビューを開始したと発表しました。現在は米国リージョンの環境を対象に、エージェントへ追加できるツールとして提供されています。

自然言語でやってほしい作業を指示するだけで、エージェントが自前のコンピュータを操作してWebサイトやデスクトップアプリ上のタスクを代行してくれます。

クラウドブラウザと推論エンジンで動的なUIに対応

今回のアップデートでは、実務導入を容易にするための仕組みが複数導入されました。

Webタスク向けにはWindows 365を活用したホスト型ブラウザが用意されており、ユーザーが個別の実行マシンをセットアップすることなく、すぐに自動化を始められます。社内ネットワーク内のシステムや独自のデスクトップアプリを動かしたい場合は、自前のマシンを登録して接続することも可能です。

すでにMicrosoft Power Automateでデスクトップフローを運用している環境であれば、そのマシンをそのままCopilot StudioのComputer useに流用できます。

画面構成が頻繁に変わるWebサイトでも、組み込みの推論エンジンが画面上の図表やレイアウトを解釈して柔軟に対応します。テスト時には、エージェントの操作画面と推論プロセスを左右に並べて確認できるサイドバイサイド画面が用意されています。

セキュリティ面では、IDやパスワードを安全に保管・利用する認証情報管理機能に加え、許可リスト（Allow-list）が実装されました。エージェントが操作できるWebサイトやアプリを厳密に制限し、指定外の領域へ移動しようとした場合は処理が自動的に停止します。

なぜ重要か

私たちは、今回の発表がAIエージェントの実装競争を「デモの面白さ」から「実務への組み込み」へと引き上げる動きだと考えています。Anthropicなどが先行して画面操作モデルを提示していましたが、マイクロソフトはWindows 365やPower Automateといった既存の企業インフラと直結させ、実用的な製品機能として落とし込みました。

ユーザーにとっての価値は明快です。APIが存在しないレガシーソフトウェアの刷新には多額の投資が必要ですが、この機能を使えば既存資産の画面をそのまま操作させて自動化を達成できます。競合他社の価格調査やサプライヤー在庫の巡回確認など、情報の収集や確認作業であれば今すぐ検証する価値があります。

一方で、マウスやキーボードの操作権限をAIに直接委ねることには特有のリスクが伴います。許可リスト機能があるとはいえ、ボタンの押し間違いや誤った入力といったハルシネーション起因のトラブルを完全にゼロにするのは困難です。現時点では、重要なデータの書き込みや更新処理に使う前に、まずは人間が確認できるステップを挟むか、読み取り専用のタスクから導入を進めるのが賢明に見えます。