Vercept、画面を見て直接操作するAIエージェント「Vy」を公開

画面を見てそのままPCを操作する

Verceptは、画面を直接認識してPCを操作できるAIエージェント「Vy」を発表し、ダウンロード提供を開始しました。

Vyはクラウド上のチャットボットと異なり、PC上でネイティブに動作します。すでにログインしている各種デスクトップアプリやアカウントに直接アクセスし、人間のユーザーと同じように画面を見ながらクリックや入力を代行します。

このエージェントを支えているのが、同社が独自に構築した「VyUI」モデルです。自然言語と画面上の要素をつなぐための基盤であり、ScreenSpot v1、ScreenSpot v2、GroundUI WebといったUIグラウンディングのベンチマークにおいて、OpenAI、Google、Anthropicの主要モデルを上回る最高水準のスコアを記録したとしています。

なぜ重要か

PC操作を自動化するエージェントは各社が開発を急ぐ領域ですが、Vyのアプローチは実用面でスマートに見えます。専用APIの設定や再ログインの手間をかけず、現在開いている作業環境をそのまま使えるためです。

一方で、すでにログイン済みのPCを直接操作できる権限を持たせるため、認識ミスによる誤操作のリスクはチャットの誤答よりもはるかに深刻です。それでもUI認識精度で大手を上回ったという主張が確かであれば、特定タスクに特化した視覚モデルがデスクトップ作業の現場で大手を先行する可能性を示しています。