Copilot Studioに「Computer Use」追加、エージェントが画面を直接操作

APIが用意されていない古い業務システムへのデータ入力ほど、うんざりする仕事はありません。従来のRPAツールを使おうにも、ボタンの位置が少し変わっただけでスクリプトが止まるのが常でした。

Microsoftは4月15日、Copilot Studioに「computer use」機能を導入したと発表しました。まずは早期アクセスリサーチプレビューとしての提供となります。

簡単に言えば、AIエージェントに人間の手と目を与え、画面を見ながらマウスクリックやキーボード入力を代行させる仕組みです。

画面を見て自律的に判断するエージェント

先月発表された高度な推論機能やMCPサポート、エージェントフローの一般提供に続く機能拡張です。

この機能により、Copilot StudioのエージェントはWebサイトやデスクトップアプリをツールとして扱えるようになります。Edge、Chrome、Firefoxなどのブラウザはもちろん、通常のPCソフトにも対応します。

最大の特徴は、画面のレイアウト変更への耐性です。従来のRPAのように座標を固定するのではなく、組み込みの推論機能を使って画面要素を認識するため、Webサイトのデザインが変わっても自動で判断を修正して作業を続けます。

構築にプログラミングは不要で、自然言語で指示を出すだけです。テスト画面では、AIの思考プロセスと実際のUI操作のプレビュー動画が並んで表示され、動作を確認しながらプロンプトを調整できます。

実行履歴には推論ステップと画面のスクリーンショットがすべて残るため、後から追跡も可能です。また、実行環境はMicrosoftがホストするため自前のサーバーは不要で、企業データがフロンティアモデルの学習に使われることもありません。

より詳しい内容は、5月に開催されるMicrosoft Buildで公開される予定です。

なぜ重要か

私たちは、この動きが従来のRPA市場に対する本格的な揺さぶりになると見ています。

企業にとって最大のメリットは、APIのないレガシーシステムを低コストで自動化できる点です。請求書の転記や競合データの収集など、これまで人が手動で行うか、壊れやすいスクリプトを保守し続けていた業務から現場を解放できる可能性があります。

ただし、今すぐ全業務を任せられるかといえば慎重になるべきです。いくらAIが画面を理解できるとはいえ、誤クリックや誤入力のリスクはゼロではありません。特に経理や基幹データの書き換えといった重大な局面では、プレビュー版の段階で完全放置するのはリスクが伴います。

業界構造の観点では、Microsoftのアプローチは非常に現実的です。Anthropicが先行して提示した画面操作の技術を、Microsoftは企業のセキュリティ基準やクラウド基盤とセットにして、Copilot Studioという既存の製品枠に組み込みました。これにより、UiPathなどに代表される従来のRPA専業ベンダーは、製品戦略の根本的な見直しを迫られることになりそうです。