ShowUI-π 让智能体学会丝滑拖拽：450M 小模型攻克视频剪辑与验证码

ShowUI-π 是一个仅有 450M 参数的轻量级视觉-语言-动作模型，专门用来解决桌面智能体在连续鼠标拖拽、手写和复杂交互时容易翻车的问题。

它不把鼠标行为简单切碎成离散的坐标，而是把操作直接建模成平滑的光标轨迹，让 AI 也能像人手一样在屏幕上丝滑操作。

它能做什么

现在的很多电脑控制智能体能看懂界面、会点按钮，但一遇到需要按住鼠标拖拽的长轨迹任务就经常卡住或失控。

ShowUI-π 专门弥补了这个短板。它可以在画图软件里连续手写字迹和画画，在 Adobe Premiere Pro 的剪辑时间轴上平稳拖动音视频素材，或者在 PPT 里拖拽边框调整形状和尺寸。

更亮眼的是处理复杂交互式验证码。面对滑块拼图、旋转角度或者按轨迹拖动的验证码，它能做到实时观察并连续微调鼠标动作。

在配套的 ScreenDrag 基准测试中，研究团队设计了涵盖 PPT、文件管理、Premiere Pro、验证码和手写五大类的 505 个连续拖拽任务，并采集了 2 万条轨迹数据。

结果显示，450M 参数的 ShowUI-π 拿下了 26.98% 的整体在线成功率，优于 7B 参数的 OpenCUA-7B（21.98%），也超过了闭源专有模型 Gemini-2.5-CUA（22.18%）。

尤其在旋转验证码任务上，它的成功率达到 55.91%，而 Gemini-2.5-CUA 只有 3.96%；在手写任务上它拿下 34.32%，而绝大多数参评模型几乎挂零。在 Premiere Pro 视频剪辑任务中，它取得了 8.64% 的成功率，而多数大模型在这个场景下成功率同样为 0。

它是怎么做到的

传统的 GUI 智能体通常把鼠标点击预测成一个个独立的离散坐标 token。这种方法做单次点击还行，一旦遇到长距离拖拽，就很难维持平滑运动，更无法根据屏幕画面的微小变化做闭环控制。

ShowUI-π 换了思路，采用基于流匹配（Flow Matching）的生成模型，把点击与连续拖拽统一表达为带有按键状态的光标路径点序列。

它训练了一个轻量级的动作专家网络，在接收流式屏幕画面输入的同时，实时输出增量式的光标位移变化。

这样一来，智能体不需要靠生硬的坐标离散化来猜位置，而是能在屏幕上画出连贯、稳定的连续曲线，操作起来就像真人手握鼠标一样。

怎么跑起来与当前限制

该项目由新加坡国立大学 Show Lab 研发，代码已经放在 GitHub 上，论文也在 arXiv 上公开。

不过目前项目文档尚不完善，缺少详细的快速上手指南，想要跑起来可能需要自己折腾依赖和运行环境。

另外也需要注意它的短板：在基础的操作系统文件管理任务上，ShowUI-π 的在线成功率只有 13.11%，远落后于 OpenCUA-7B 的 99.01% 和 Gemini-2.5-CUA 的 86.14%。

换句话说，它目前并不是一个能接管整个操作系统的全能选手，而是一个专攻复杂微操的特化模型。

为什么重要

我们认为这项研究切中了 GUI 智能体演进的一个关键痛点：理解屏幕元素容易，做细腻的物理级交互极难。过去行业总想靠堆叠大语言模型的参数来解决一切，但事实证明，百亿参数的大模型面对一条拖动滑块的平滑曲线同样束手无策。

ShowUI-π 用仅 450M 的微型架构打穿了视频剪辑和验证码场景，证明专用动作生成网络在连续控制上效率更高、成本更低。对于正在研发桌面自动化或 RPA 工具的开发者来说，把这种动作模型与顶层大模型结合，是目前非常值得尝试的技术方向。不过鉴于当前开源文档还不完备，建议先阅读论文理解其轨迹生成机制，等社区补充完整封装后再接入实际项目。