Microsoft、画面を見て操作を案内する「Copilot Vision」を米Windows向けに無料提供

使い慣れないソフトの操作に迷ったときや、家族にパソコンの使い方を説明するとき、「画面のここをクリックして」と直接指をさせたら楽なのに、と思ったことは誰にでもあるはずです。

Microsoftが提供を始めた新機能は、まさにその感覚をWindows上で再現しようとしています。

同社は、Windows 10および11の米国ユーザー向けに、新機能「Highlights」を備えた「Copilot Vision」の提供を開始しました。注目すべきは、有料のCopilot Proサブスクリプションが不要になり、無料で利用できる点です。現在は実験的プロジェクトであるCopilot Labsの一環として提供されており、iOSやAndroidでも利用できます。

メガネアイコンで選んだアプリだけを共有する安心設計

画面をAIに見せると聞くと、以前プライバシー面で物議を醸した「Recall」を思い出す人も多いはずです。しかし、Copilot Visionのアプローチはまったく異なります。

バックグラウンドで常にスクリーンショットを記録し続けるRecallとは違い、Copilot Visionは完全なオプトイン方式です。Copilotアプリ内にあるメガネのアイコンを押し、見せたいブラウザやアプリのウィンドウを手動で選択して初めてAIと画面が共有されます。感覚としてはMicrosoft Teamsの画面共有に非常に近い仕組みです。

共有を有効にすると、AIはユーザーが見ているものをリアルタイムで認識し、音声で自然に対話できるようになります。公式が「もう一つの目」と表現するように、ウェブ閲覧中や作業中に迷った際、その場でアドバイスを求めることができます。

画面上を直接光らせて操作を教える「Highlights」

単に画面の内容を言葉で説明するだけでなく、実際の操作手順を画面上に直接示すのが新機能のHighlightsです。

操作が分からないときに「やり方を教えて（show me how）」と声をかけると、Copilotが現在使っているアプリ内の該当ボタンやメニューをハイライト表示し、次にどこをクリックすべきかを案内してくれます。

たとえばAdobe Photoshopの複雑なツールの使い方をステップごとに教えてもらったり、旅行の旅程表を見せながら持ち物リストに不足がないかを確認させたりといった使い方が想定されています。4月の同社イベントでの先行体験でも、画面内の特定箇所が明確に示される操作感は高く評価されていました。

なぜ重要か

私たちは、今回のアップデートをMicrosoftによる極めて堅実で賢い軌道修正だと捉えています。

Recallで批判を浴びた常時記録路線から一歩退き、ユーザーが必要なときだけ手動で画面を見せるオプトイン形式を採用したことで、プライバシーへの懸念をうまく和らげています。プロンプトを工夫して指示文を書いたり、画面を切り取ってチャット欄に貼り付けたりする手間が一切なくなり、UIをそのまま指し示せるようになった価値は非常に大きいです。

特に、多機能すぎて敷居の高いクリエイティブツールやビジネスソフトにおいて、初心者向けのリアルタイムな家庭教師として威力を発揮するはずです。

もっとも、現時点では米国限定かつCopilot Labs扱いであり、全世界への一般提供には至っていません。多様なサードパーティ製アプリ上で、ハイライトの追従速度や認識精度をどこまで安定して維持できるかが、今後の普及に向けた試金石になるはずです。