Google DeepMind 联手 33 家实验室:发布最大跨形态机器人数据集与 RT-X
Google DeepMind 联合 33 家学术实验室发布 Open X-Embodiment 数据集及 RT-X 模型。数据集汇总了 22 种机器人的百万条演示,跨形态训练让机器人任务成功率平均提升 50%,RT-2-X 的新技能泛化成功率更是提升至三倍,数据集与权重已开源。
Google DeepMind 联合全球 33 家学术实验室,发布了开源的机器人数据集 Open X-Embodiment 以及对应的 RT-X 模型。它做的事情很直接:把不同形态机器人的动作数据攒在一起,训练出一个能通用于多种机器人的通用模型。
过去做机器人研发,基本上是一台机器一套模型。换个机械臂、换个抓夹,甚至只是换个操作环境,很多算法就得推倒重来。这次发布的资源,就是为了让机器人也能像大语言模型那样,跨形态学习通用技能。
22 种机器人与百万条演示
Open X-Embodiment 汇集了来自 20 多家机构的数据。整个数据集涵盖了 22 种不同的机器人形态,包含超过 500 项技能、15 万个任务以及 100 多万条操作片段(episodes)。Google 把它类比为机器人领域的 ImageNet,这也是目前同类开源数据集中规模最全面的一套。
基于这套数据,DeepMind 训练了两个版本的基准模型:RT-1-X 和 RT-2-X。RT-1-X 基于此前专注机器人控制的 RT-1 架构,而 RT-2-X 则基于视觉-语言-动作(VLA)模型 RT-2,能同时消化网络多模态数据与底层动作指令。
跨形态训练的效果如何
在五家合作实验室的测试中,RT-1-X 在五种常见机器人平台上的平均任务成功率,比各实验室针对单一形态独立训练的专属模型高出了 50%。这说明即便机械结构不同,动作规律依然可以在模型层面迁移。
而在高阶的 RT-2-X 上,泛化能力更为明显。当测试机器人面临自己训练数据里从未出现、但在其他机器人数据集中存在的新技能时,RT-2-X 的成功率达到了之前 RT-2 的三倍。
最直观的体现是空间理解。比如指令从「把苹果放在布上」换成「把苹果移到布旁边」,RT-2-X 可以精确调整抓取与移动轨迹。不过 DeepMind 也指出,这种跨机器人的技能涌现,必须依赖参数量和容量足够大的模型架构才能显现。
怎么获取与上手
Open X-Embodiment 数据集和 RT-1-X 的模型权重(checkpoint)目前已经完全公开,研究人员和开发者可以直接下载使用。如果想深入参与后续迭代,项目组也开放了专门的合作渠道。
为什么重要
对于机器人领域的开发者和学术研究者来说,这套资源非常值得尽早接触。单一实验室以往很难承担百万级真机演示数据的采集成本,Open X-Embodiment 直接拉平了跨硬件训练的门槛,不需要自己造轮子收集所有动作数据。
我们认为,DeepMind 这一步聪明在把「预训练通用模型」的范式真正搬到了具身智能上。机器人长期缺乏基础大模型,核心痛点就是硬件形态各异、数据无法互通。RT-X 证明了跨形态混合训练不仅可行,还能显著提升单机表现。当然,目前发布的主要是学术数据集和 RT-1-X 检查点,真正要落地到复杂工业或家庭环境,仍需要结合具体硬件进行微调与安全验证。
来源 (2)
- deepmind.google(在新标签页打开)原文deepmind.google
- deepmind.com(在新标签页打开)报道deepmind.com