米Microsoft、「Copilot Vision」をスマホ向けに提供開始　カメラ映像をリアルタイム認識

スマートフォンのカメラを植物に向けて名前を調べる機能は、もはや珍しくありません。しかし、AIがリアルタイムの映像を一緒に見ながら、音声でインテリアのアドバイスをくれるとなれば話は別です。

Microsoftは昨年末、Web版向けにCopilot Visionを発表しました。そして今回、この機能がモバイル端末向けにも提供開始されました。

リアルタイム映像で植物の健康診断も

モバイル版のCopilot Visionは、端末のカメラと連携して実世界の情報を解釈します。保存されている写真の解析だけでなく、リアルタイムのビデオ映像をそのまま認識できるのが特徴です。

買い物や読書、調べ物といった場面で、Copilotが目の前にあるものについて文脈を踏まえた説明や情報を提供してくれます。

Microsoftが挙げた具体例としては、観葉植物の健康状態をチェックしてもらったり、部屋のインテリアに関する改善アイデアを提案してもらったりする使い道があります。

プライバシー面については、ユーザーが明示的に許可を出した場合にのみカメラにアクセスする仕様になっており、勝手に撮影される心配はないとしています。

音声モード内に配置、まずは米国有料ユーザー限定

ただし、今すぐ誰もが使えるわけではありません。

現在、Copilot VisionはCopilotアプリの音声モード（Voice mode）内からアクセスする仕組みになっています。

利用対象は米国のCopilot Pro加入者に限られており、今後の対象拡大が計画されている段階です。

Copilot Proは月額20ドルの有料サブスクリプションです。ピーク時の最新モデル優先利用や使用上限の緩和に加え、こうした実験的機能への早期アクセス権が含まれています。

2023年2月のBing Chat提供開始から、2024年9月のCopilot Wave 2におけるGPT-4o採用に至るまで、Microsoftは着実にマルチモーダル機能を日常ツールへ組み込んできました。

なぜ重要か

私たちは、静止画のアップロードからリアルタイム映像と音声の同時処理へ移行した点に、大きな価値があると考えます。

写真を撮って結果を待つ従来の手順と比べ、カメラを向けたまま声でやり取りできる体験は直感的です。部屋の片付けやDIYの相談など、両手が塞がりがちな作業において、実用的なアシスタントになる可能性を秘めています。とはいえ、月額20ドルのPro会員かつ米国限定というハードルがあるため、大半のユーザーは一般開放を待つのが妥当でしょう。

業界全体で見れば、モバイルOSを持たないMicrosoftの立ち位置が浮き彫りになります。GoogleがAndroidのOSレベルでGeminiを統合しつつある中、Microsoftはスタンドアロンアプリを開かせ、カメラ権限を取ってもらう必要があります。この接点の弱さは大きなハンディキャップです。

それでも、視覚機能を音声モードの中に統合したアプローチは賢明に見えます。目で見たものについてキーボードで入力するのは不自然だからです。今後は、常時カメラ起動によるバッテリー消費や通信遅延、プライバシーの懸念をどこまで払拭できるかが普及の鍵になります。