Claudeがコンピューター操作に対応、スマホからの指示で自動実行

通勤電車の中でスマートフォンから指示を出しておき、オフィスに着いてPCを開くと、すでにテストが完了してプルリクエストが作成されている。そんな作業スタイルが現実味を帯びてきました。

Anthropicは、同社のツールであるClaude CoworkおよびClaude Codeにおいて、PCを自律操作する機能「computer use」のリサーチプレビューを開始しました。Claude ProおよびClaude Maxの加入者が対象となります。

APIがなくても画面を見てクリックする

この機能の最大の特徴は、特別な事前設定なしでClaudeが人間の代わりにPCを操作できる点です。カーソルを動かし、クリックやスクロールを行い、ローカルファイルを開いたりブラウザや開発ツールを自動で操作したりします。

Claudeは作業時に最も効率的な方法を優先します。SlackやGoogleカレンダーのような公式の連携機能がある場合はそちらを使い、連携手段がない場合に限って画面の直接操作へと切り替えます。

PCの直接操作はAPI経由よりも動作が遅く、複雑なタスクでは再試行が必要になることもあるとAnthropicは説明しています。

セキュリティ面では、プロンプトインジェクション攻撃を検知するためにモデル内部の活性化パターンを自動スキャンする仕組みを導入しました。新しいアプリを開く際は必ずユーザーに許可を求め、機密データを扱う一部のアプリは初期設定でアクセスが制限されています。

スマホから指示を出しPCに実行させる

この操作機能は、同社が先週リリースした「Dispatch」と組み合わせることで真価を発揮します。Dispatchはモバイル端末とデスクトップ端末で同じ会話を継続できる機能です。

これにより、外出先からスマートフォンで朝のブリーフィング作成や週次データの集計、IDEでのコード修正などを指示し、バックグラウンドのPCに作業を任せることが可能になりました。

利用するにはPCが起動しており、デスクトップアプリが実行中である必要があります。Anthropicの案内ではデスクトップ全般への言及があるものの、The Vergeの報道によると今回のリサーチプレビューは当面macOSに限定されているとのことです。

なぜ重要か

Anthropicのこのアプローチは、AIエージェントの導入における最大の障壁を現実的な力技でクリアしたと言えます。

世の中の多くの業務システムや古い開発ツールには専用APIが用意されていません。画面を見てマウスを動かすという人間の動作をそのまま再現することで、連携開発のコストをゼロにし、あらゆるアプリを操作対象に変えてしまいました。

スマートフォンから指示してPCに代理作業をさせる体験は、ユーザーが画面に張り付く必要をなくし、非同期なタスク委託という新しい働き方を提示しています。

ただし、画面認識による操作は通信環境やUIの予期せぬポップアップに弱く、動作の確実性にはまだ課題が残ります。プロンプトインジェクションのリスクも完全には排除できないため、現時点では機密性の低い定型作業から試すのが賢明だと考えられます。