マイクロソフト、GUIを自動操作するCUAとResponses APIをAzureで提供

業務を AI で自動化しようとすると、必ず大きな壁にぶつかります。連携用の API が用意されていない古いシステムでは、少しボタンの位置が変わるだけで動かなくなる RPA スクリプトに頼るしかありませんでした。

マイクロソフトは 3 月 11 日、Azure AI Foundry において、画面を見てソフトウェアを操作できる専用モデル「Computer-Using Agent (CUA)」と、ツールの呼び出しを簡素化する「Responses API」の提供を発表しました。

画面のボタンを認識して自律操作する CUA

CUA は、Azure OpenAI Service で提供される特化型モデルです。自然言語の指示に従い、画面のビジュアル要素を認識しながら、ウェブやデスクトップのアプリをまたいでボタンをクリックし、フォームを入力していきます。

AI が勝手にローカル PC を操作するリスクを避けるため、同社は Windows 365 クラウド PC や Azure Virtual Desktop との連携を検証中だとしています。管理された仮想マシン上で動かすことで、セキュリティとガバナンスを担保する狙いです。

また、マイクロソフトは安全性への配慮も示しています。特にブラウザ以外の環境における信頼性はまだ発展途上であるとし、取り返しのつかない操作の前の確認要求や、金融取引などの高リスク操作の制限を設けており、慎重な人間の介入を推奨しています。

複数ツールの連携を 1 回のリクエストに集約

同時に発表された Responses API は、開発者の負担を減らすための新しいインターフェースです。従来のシンプルな Chat Completions API と、高度な Assistants API の利点を掛け合わせています。

この API を使えば、ファイル検索、独自関数の実行、そして CUA による画面操作を、わずか 1 回の API 呼び出しの中で組み合わせて実行できます。

さらに、レスポンスごとに一意の ID が付与されるため、会話の文脈を簡単に保持でき、複雑な状態管理コードを自前で実装する必要がなくなります。

なぜ重要か

私たちは、今回の発表で最も巧妙な点は、Anthropic などが先行していた「PC 操作 AI」の機能を、マイクロソフト自身の強力なエンタープライズ資産と直結させたことだと考えています。

操作権限を持つ AI をローカル環境ではなく Windows 365 などの仮想環境に隔離して動かすアプローチは、セキュリティを気にする企業にとって非常に現実的で魅力的な選択肢です。API のないレガシーな社内システムを自動化したい需要は膨大に存在します。

ただし、マイクロソフト自身が認めているように、デスクトップ環境での動作信頼性はまだ完全ではありません。今すぐ基幹業務を任せるのは時期尚早であり、まずは限定的な社内業務の PoC から試すのが現実的でしょう。

クラウド各社の競争は、単なる大規模言語モデルの知能比べから、安全な仮想環境を用意して「いかにデジタル労働力として現場で動かせるか」という総合的なエンジニアリングの戦いに突入しています。