香港大がOpenCUA公開：PCを自律操作するオープンソースAgent

OpenCUAは、香港大学XLANGラボなどの研究チームが公開した、PC自律操作エージェント（CUA）を構築・訓練するためのオープンソースフレームワークです。人間と同じように画面を見つめ、マウスを動かし、キーボードを叩いてタスクをこなすAIを自前で開発できます。

OpenAIやAnthropicが提供するPC操作AIは学習データも構造も非公開ですが、OpenCUAは収集ツールから学習レシピ、評価基準までを一挙にオープンにしました。ベンチマーク性能でも既存のオープンソース手法を大きく引き離し、商用モデルに迫るスコアを記録しています。

3つのOSを網羅した2万2600件の操作データ

PC操作AIの最大のボトルネックは、高品質な実操作データの不足でした。OpenCUAはこの問題を解決するため、バックグラウンドで常駐する収集ツール「AgentNet Tool」を開発しました。

画面キャプチャやキーボード、マウス入力だけでなく、OSのアクセシビリティツリー（画面要素の構造情報）まで同時に記録します。収集された生データは、画面状態とユーザーの操作を1対1で結ぶデータへと変換されます。

このツールを使い、Windows、macOS、Ubuntuの3環境で2万2600件を超えるタスク実行ログを集めた「AgentNet」データセットが作成されました。対象は200種類以上のアプリやウェブサイトに及びます。

画面録画に伴うプライバシーの懸念に対しては、多層型の防御策を用意しました。作業者本人が送信前に内容を確認・編集できるほか、人手による監査と大型モデルによる自動検知スキャンを組み合わせ、機密情報の流出を防いでいます。

単純な模倣を超える「3段階の心の声」

大量の画面と操作ログをそのまま画像言語モデルに学習させても、十分な性能は出ません。研究チームは、単なる操作の真似事では汎用性が身につかないことに気づきました。

そこでOpenCUAが導入したのが、各アクションの背景に思考連鎖（CoT）を補完する仕組みです。モデルに3つの階層からなる「内省の独白」を生成させます。

1層目で画面の全体状況を高精度に把握し、2層目で現状を分析して次の手順を計画・内省し、3層目でようやく具体的な実行アクションを出力します。この思考プロセスを挟むことで、未知のソフトウェア画面でも論理的に試行錯誤できるようになります。

さらに、評価を迅速化するために「AgentNetBench」というオフラインベンチマークも用意しました。1ステップに対して複数の正解アクションを許容する設計により、効率的な検証が可能です。

なぜ重要か

業務の自動化やデスクトップ向けAIエージェントの開発に取り組むエンジニアにとって、OpenCUAは今すぐ試す価値がある基盤です。モデルの重みだけでなく、データ収集から推論パイプラインの全体像が手に入るため、自社の独自ツールに合わせたカスタマイズも現実的になります。

このプロジェクトが秀逸なのは、PC操作を単なる画像認識ではなく「論理的な推論課題」として捉え直し、思考の言語化を組み込んだ点にあります。商用モデルの独壇場だったPC自律操作の領域に、強力で透明なオープンソースの対抗馬が登場した意義は小さくありません。