ShowUI-π 讓智慧體學會絲滑拖拽：450M 小模型攻克影片剪輯與驗證碼

ShowUI-π 是一個僅有 450M 引數的輕量級視覺-語言-動作模型，專門用來解決桌面智慧體在連續滑鼠拖拽、手寫和複雜互動時容易翻車的問題。

它不把滑鼠行為簡單切碎成離散的座標，而是把操作直接建模成平滑的游標軌跡，讓 AI 也能像人手一樣在螢幕上絲滑操作。

它能做什麼

現在的很多電腦控制智慧體能看懂介面、會點按鈕，但一遇到需要按住滑鼠拖拽的長軌跡任務就經常卡住或失控。

ShowUI-π 專門彌補了這個短板。它可以在畫圖軟體裡連續手寫字跡和畫畫，在 Adobe Premiere Pro 的剪輯時間軸上平穩拖動音影片素材，或者在 PPT 裡拖拽邊框調整形狀和尺寸。

更亮眼的是處理複雜互動式驗證碼。面對滑塊拼圖、旋轉角度或者按軌跡拖動的驗證碼，它能做到即時觀察並連續微調滑鼠動作。

在配套的 ScreenDrag 基準測試中，研究團隊設計了涵蓋 PPT、檔案管理、Premiere Pro、驗證碼和手寫五大類的 505 個連續拖拽任務，並採集了 2 萬條軌跡資料。

結果顯示，450M 引數的 ShowUI-π 拿下了 26.98% 的整體線上成功率，優於 7B 引數的 OpenCUA-7B（21.98%），也超過了閉源專有模型 Gemini-2.5-CUA（22.18%）。

尤其在旋轉驗證碼任務上，它的成功率達到 55.91%，而 Gemini-2.5-CUA 只有 3.96%；在手寫任務上它拿下 34.32%，而絕大多數參評模型幾乎掛零。在 Premiere Pro 影片剪輯任務中，它取得了 8.64% 的成功率，而多數大模型在這個場景下成功率同樣為 0。

它是怎麼做到的

傳統的 GUI 智慧體通常把滑鼠點選預測成一個個獨立的離散座標 token。這種方法做單次點選還行，一旦遇到長距離拖拽，就很難維持平滑運動，更無法根據螢幕畫面的微小變化做閉環控制。

ShowUI-π 換了思路，採用基於流匹配（Flow Matching）的生成模型，把點選與連續拖拽統一表達為帶有按鍵狀態的游標路徑點序列。

它訓練了一個輕量級的動作專家網路，在接收流式螢幕畫面輸入的同時，即時輸出增量式的游標位移變化。

這樣一來，智慧體不需要靠生硬的座標離散化來猜位置，而是能在螢幕上畫出連貫、穩定的連續曲線，操作起來就像真人手握滑鼠一樣。

怎麼跑起來與當前限制

該專案由新加坡國立大學 Show Lab 研發，程式碼已經放在 GitHub 上，論文也在 arXiv 上公開。

不過目前專案文件尚不完善，缺少詳細的快速上手指南，想要跑起來可能需要自己折騰依賴和執行環境。

另外也需要注意它的短板：在基礎的作業系統檔案管理任務上，ShowUI-π 的線上成功率只有 13.11%，遠落後於 OpenCUA-7B 的 99.01% 和 Gemini-2.5-CUA 的 86.14%。

換句話說，它目前並不是一個能接管整個作業系統的全能選手，而是一個專攻複雜微操的特化模型。

為什麼重要

我們認為這項研究切中了 GUI 智慧體演進的一個關鍵痛點：理解螢幕元素容易，做細膩的物理級互動極難。過去行業總想靠堆疊大語言模型的引數來解決一切，但事實證明，百億引數的大模型面對一條拖動滑塊的平滑曲線同樣束手無策。

ShowUI-π 用僅 450M 的微型架構打穿了影片剪輯和驗證碼場景，證明專用動作生成網路在連續控制上效率更高、成本更低。對於正在研發桌面自動化或 RPA 工具的開發者來說，把這種動作模型與頂層大模型結合，是目前非常值得嘗試的技術方向。不過鑑於當前開源文件還不完備，建議先閱讀論文理解其軌跡生成機制，等社群補充完整封裝後再接入實際專案。