ByteDanceがUI-TARSを公開：画面を直接操作するオープンソースAgent

UI-TARSは、人間と同じようにPCやスマートフォンの画面を見て、マウスクリックやキーボード入力、ドラッグなどを直接実行できるByteDanceのオープンソースGUI操作Agentです。

ByteDanceは2025年9月4日、従来のUI-TARS-1.5を大幅に進化させたオールインワンAgentモデル「UI-TARS-2」のリリースを発表しました。GUI操作だけでなく、ゲームプレイ、コーディング、外部ツールの活用能力が統合されています。

何ができるのか

UI-TARSは、プラットフォームごとに最適化されたプロンプトテンプレートを備えています。

Windows、macOS、Linuxといったデスクトップ環境では、左右クリック、ダブルクリック、ドラッグ、ショートカットキー入力、テキスト入力、スクロールに対応します。ブラウザでの情報収集やオフィスソフトの入力、ファイル管理などの自動化に向いています。

Android端末やエミュレータ向けには、長押しやアプリ起動、ホームボタン、戻るボタンの操作が用意されています。

通常のデスクワークに加えてゲームの操作能力も高く、Pokiプラットフォーム上の複数のパズルゲームで満点を記録したほか、Minecraftでの採掘や戦闘タスクでも過去の強化学習モデルを大きく上回るスコアを示しました。

仕組みとベンチマーク

UI-TARSは視覚言語モデルをベースにしており、画面要素の絶対座標を検出して操作を組み立てます。さらに強化学習による推論ステップを組み込むことで、操作を実行する前にモデル自身が思考プロセスを踏む仕組みを採用しました。

この推論ステップにより、複雑な長時間の操作でも高い精度を維持できます。OSWorldの100ステップ評価において、UI-TARS-1.5は42.5を記録し、OpenAI CUAの36.4やClaude 3.7の28を上回りました。

GUI要素の特定能力を測るScreenSpotProでも61.6を達成し、競合の商用モデルに大差をつけています。

一方で課題も挙げられています。長時間の操作では計算リソースを大量に消費する点や、見慣れない画面での誤認識、さらにはCAPTCHAなどの認証を突破できてしまう安全性への懸念が指摘されています。

動かし方

コードはGitHubのbytedance/UI-TARSリポジトリで公開されています。pip install ui-tarsでPythonパッケージを導入でき、モデルの出力をpyautogui用の実行コードへ直接変換できます。

手元のPCですぐに動かしたい場合は、スタンドアロン版のUI-TARS-desktopが利用できます。ウェブ操作の自動化用途には、オープンソースのMidscene.jsと連携可能です。

重みはHugging Face上でUI-TARS-1.5-7Bなどが公開されており、最上位モデルについても研究目的の早期アクセス申請を受け付けています。

なぜ重要か

画面のレイアウトやAPIの仕様変更に振り回されず、画面の見た目だけであらゆるアプリを操作できる環境を探している開発者にとって、UI-TARSは今すぐ試す価値がある選択肢です。

独自APIに依存しない視覚ベースの操作モデルをオープンソースで提供することは、AnthropicやOpenAIなどの閉じたコンピュータ操作機能に対する強力な対抗軸になると考えられます。UI-TARS-2でコード生成やツール連携が整ったことで、AIがローカル画面を肩代わりする実用的な自動化がいっそう身近になりそうです。