シンガポール国立大、滑らかなマウスドラッグを可能にする「ShowUI-π」発表

ShowUI-πは、デスクトップ操作エージェントが苦手としていたマウスの連続ドラッグや手書き入力を解決するために設計された、わずか450Mパラメータの軽量なVision-Language-Actionモデルです。

画面上の操作を単なる飛び飛びの座標予測ではなく、滑らかな連続軌跡として扱うことで、人間がマウスを操作しているかのような滑らかな動作を実現します。

何ができるのか

既存のPC操作AIエージェントは、ボタンのクリックや文字入力はこなせても、マウスを押し続けたまま動かす長距離のドラッグ操作になると頻繁に失敗していました。

ShowUI-πはこの課題を直接解決します。ペイントソフトでの手書き文字の描画、Adobe Premiere Proのタイムライン上での動画クリップ配置、PowerPointでの図形サイズ調整、フォルダ間のファイル移動などを正確に実行できます。

さらに強力なのが認証突破能力です。スライダー認証、パズルピースのドラッグ、指定角度までの回転認証など、画面の変化を見ながら微調整が必要なタスクでも高い安定性を示します。

研究チームが公開したベンチマーク「ScreenDrag」は、5つの領域にわたる505種類のドラッグタスクと2万件の軌跡データで構成されています。

ShowUI-πはこのテストで26.98%のオンライン成功率を達成し、軌跡誤差も最小を記録しました。7BパラメータのOpenCUA-7B（21.98%）や、GoogleのGemini-2.5-CUA（22.18%）といった大型モデルを総合スコアで上回っています。

特に回転認証タスクでは55.91%の成功率を記録し、Gemini-2.5-CUAの3.96%を圧倒しました。手書きタスクでも34.32%を達成し、多くのモデルが0%に終わる中で際立った結果を出しています。Premiere Proでも8.64%の成功率を収め、他モデルの多くが0%に留まる中で実力を示しました。

仕組み

従来のGUIエージェントは、クリック座標を離散的なトークンとして予測する手法が主流でした。この方法では単発のクリックには対応できても、連続的なドラッグ中にリアルタイムで動作を修正する閉ループ制御が困難でした。

ShowUI-πはフローマッチング（Flow Matching）技術を採用し、クリックと連続ドラッグを、マウス状態を伴うカーソルのウェイポイント系列として統合しました。

ストリーミングで送られてくる画面映像をもとに、軽量なアクションエキスパートがカーソルの微小な移動量をリアルタイムに出力します。

これにより、飛び飛びの座標を指定するのではなく、画面上で滑らかで途切れのないカーソル軌跡を描くことが可能になりました。

導入と現状の制限

シンガポール国立大学のShow Labが開発しており、論文はarXivで公開され、コードもGitHubにアップロードされています。

ただし、現時点ではリポジトリのドキュメントがまだ整っておらず、実際に手元で動かすには依存関係などを自分で読み解く必要があります。

また、OSのファイル管理のような基本タスクにおける成功率は13.11%にとどまり、OpenCUA-7Bの99.01%やGemini-2.5-CUAの86.14%に大きく引き離されています。

万能のPC操作エージェントというよりは、連続的で繊細なマウス操作に特化した専用モデルと捉えるのが正確です。

なぜ重要か

私たちは、この研究がGUIエージェント開発において見落とされがちだった「物理的な操作精度」という壁に正面から向き合った点を高く評価しています。画面の理解を大規模言語モデルに頼るだけでは、滑らかなスライダー操作ひとつ満足にこなせません。

わずか450Mの超小型モデルが、動画編集や認証突破タスクで巨大モデルを凌駕したという事実は、高次計画を行う大型モデルと、繊細な手先操作を担う小型アクションモデルを分離する設計の有効性を示しています。PC自動化ツールを開発している技術者にとって大いに参考になる成果ですが、実際に組み込むのはドキュメントの整備を待ってからでも遅くありません。