清华伯克利开源 uni-robot-agent:给千问套上机器人外壳,跑分反超 Astra
清华与伯克利联合开源机器人智能体框架 uni-robot-agent,让现成开源模型直接操控机械臂与仿真环境。在不依赖仿真器特权信息的前提下,本地运行的 Qwen3.8-Flash-Next 在 RoboDojo 拿到 31.39 分反超 GPT-6 Astra,单次执行成本降至后者的二十分之一。
uni-robot-agent 是一个开源的机器人智能体框架,专门用来给开源大语言模型套上一层标准化的控制外壳,让它们能直接调用机械臂和仿真环境干活。
过去想让大模型直接操控物理机器人,研究人员基本只能靠 GPT-6 Astra 这类闭源商业模型。闭源模型不仅 API 调用成本高,一个任务可能消耗几十上百次请求,而且无法拿到权重做针对性微调,机器人试错积累的数据根本没办法回传训练。
它怎么把模型接进物理世界
清华大学与加州大学伯克利分校的研究团队没有去搞复杂的模型蒸馏,也没有给开源模型开挂,而是做了一套跨环境统一的接口底座。
整个框架像乐高一样高度模块化,把 Agent 运行时、上下文策略、感知后端和动作模型完全拆开。感知、运动、技能和回合控制四类工具在仿真与真机里共用一套定义,换个机械臂只需换掉底层适配器。
更关键的是对齐真实物理环境。很多具身基准容易给模型作弊,比如偷偷塞入仿真器的精确深度、物体 CAD 模型甚至实时任务进度得分。uni-robot-agent 把模型能拿到的数据严格卡死在真实硬件水平:固定视角的 RGB 图像、相机标定内外参、机器人本体描述以及自然语言任务指令。
为了解决机器人动作慢、模型推理干等的问题,它还设计了流水线并行调度。机械臂在后台执行动作时,模型可以直接开始推演下一步,显著减少了串行等待带来的耗时。
本地千问实测反超闭源大模型
有了这套外壳,开源模型在具身控制上的短板被大幅补齐。
在包含 42 个任务的 RoboDojo 仿真基准上,本地运行的 Qwen3.8-Flash-Next 拿下了 31.39 分,反超了基线中搭配 RoboProbe 的 GPT-6 Astra(28.97 分)。在同套框架下,DeepSeek-V4.1-Flash 也跑出了 27.11 分。更直观的是账单差异,Qwen 执行单次任务的成本压缩到了约 1 美分,只有商业闭源方案的二十分之一。
真机表现同样立得住。在双臂夹爪平台的 19 个真实桌面任务测试中,一行真机训练数据都没见过的 Qwen 拿到了 53.50 分,不仅跑赢了零样本的 Dream-1,还超过了经过针对性微调的专用模型 π0.5(47.75 分)。除了常规夹爪,这套框架也成功接入了 Franka 机械臂与 Sharpa 灵巧手,完成抓取玩偶、按按钮等动作。
目前 uni-robot-agent 的代码、论文与文档已经完全在 GitHub(Open-RUA/uni-robot-agent)和项目主页开源开放。
为什么重要
如果你是具身智能或机器人领域的开发者,现在完全值得把实验环境迁过来试一试。过去做机器人 Agent 最大的痛点是昂贵的闭源调用和黑盒权重,既花钱又不能沉淀训练闭环。uni-robot-agent 证明了现成开源小模型只要配上严谨的工具链和几何标定,完全具备通用的空间推理和操作能力,让低成本端侧部署与本地自主训练成了现实。
不过它也并非万能解药。消融实验显示,如果拿掉相机内外参标定,开源模型纯靠 RGB 图像推断动作空间的能力会断崖式下滑。团队也坦承,面对毫米级的精细操作和长序列规划,当前系统依然容易翻车。但无论如何,它把具身智能从昂贵的商业 API 游戏中拉了出来,给开源社区搭好了一块踏实的试验田。
来源 (5)
- openrua.ai(在新标签页打开)原文openrua.ai
- x.com(在新标签页打开)讨论x.com
- news.qq.com(在新标签页打开)报道news.qq.com
- 163.com(在新标签页打开)报道163.com
- robotics.hellobike.com(在新标签页打开)报道robotics.hellobike.com