ShowUI-Aloha：1回の画面操作デモでPC作業を自律実行するAIエージェント

AIにPC操作を任せようとするとき、最大の壁になるのは画面認識の精度ではなく、実際のデスクトップ環境における「迷子」です。プロンプトだけで指示を出すと、フォルダの階層を行き来する無限ループに陥ったり、複雑なメニュー階層の前で固まったりすることが珍しくありません。

シンガポール国立大学発のShowLabがオープンソースで公開した「ShowUI-Aloha」は、言葉で説明する代わりに「人間の手本を1回見せる」アプローチを採用しました。

単なる座標の再生ではなく、作業手順を抽象化する

ShowUI-Alohaは、WindowsとmacOSに対応したPC操作エージェントです。ユーザーがレコーダーを起動して普段どおりに作業を完了させると、画面キャプチャ、マウス軌跡、キーボード入力が記録されます。

特徴的なのは、記録された操作をそのまま機械的に再生するマクロではない点です。Learnerモジュールがクリックやタイピングといった低レベルの挙動を「ブラウザを開く」「フォームを入力する」といった意味単位のタスクに変換します。新しい指示が来た際には、Plannerがその手順を骨組みとして再利用し、異なる条件のタスクを実行します。

たとえば東京発の航空券予約を一度見せれば、別の目的地や日付の予約でも自律的に処理できます。Excelでの行列入れ替え作業を一度教えれば、別のワークシートでも迷わず該当メニューを辿れるようになります。

実環境を模した361件のデスクトップ評価ベンチマーク「OSWorld」では、217件のタスクを完了させ、60.1%という高い成功率を記録しました。

商用エージェントが躓く細部を、実演で突破する

プロジェクトが公開した商用エージェントとの比較実験は非常に具体的です。

GitHubリポジトリの更新作業では、商用モデルがファイルパスを推測できずに無関係なフォルダを探し回る一方、Alohaは人間が通ったパスを再現して目的地に到達しました。

PowerPointの背景色一括変更では、商用モデルがリボンのアイコンを見間違えて意図しない色を適用し復帰不能に陥りましたが、Alohaは手本通りのアイコンを選んで正確に処理しました。Excelの右クリックメニューの奥にある「行列の入れ替え」貼り付けも、手本があるAlohaなら迷わず実行できています。

コードはMITライセンスでGitHub上に公開されており、実行には別途VLM（視覚言語モデル）のAPIキーを用意する必要があります。

なぜ重要か

ShowUI-Alohaの設計は非常に合理的だと考えます。汎用モデルのゼロショット推論だけに頼って複雑な業務用ソフトウェアを操作させるのは限界があります。人間が1回だけ手本を見せて探索コストをゼロにするアプローチは、極めて現実的な落としどころです。

個人開発者やオフィスワーカーにとって、専用スクリプトを書くほどではないものの手作業だと面倒な繰り返し業務を、わずか1分の画面録画で自動化できる道が開けます。

一方で課題もあります。ワークフローの前提が人間のデモに縛られるため、アプリのUI刷新や想定外のエラーダイアログにどれだけ柔軟に対応できるかは未知数です。ロードマップでも細かな要素のターゲティングやドラッグ操作の改善が挙げられています。

それでも、プロンプトの工夫だけでPC操作を完結させようとする試みに比べ、実演による学習はデスクトップAIの実用化に向けた最も堅実な一歩に見えます。