DeepMind 发布 RT-2：看懂图文直接指挥动作，机器人泛化能力翻倍

如果你想让机器人把桌上的垃圾扔掉，以前得费尽周折。

你得教它什么是薯片袋，教它香蕉皮吃完了也是垃圾，再一步步教机械臂怎么移动、抓取、丢进垃圾桶。只要换个没见过的包装盒，它大概率就卡在原地不知所措。

Google DeepMind 带来的 RT-2，想从根本上改变这种笨拙的训练方式。

别再玩传话游戏：一个模型同时看、想、动

以往的机器人控制系统像是在玩传话游戏。顶层的大语言模型负责理解指令，中间层视觉模型分析画面，底层的运动系统再接收指令去动关节。

RT-2 被定义为一种新的 VLA 模型，也就是视觉、语言与动作融合的模型。它把这一长串分工合并到了单个 Transformer 架构里。

说白了，它直接把网络上海量的图文数据，转化成了机械臂的控制动作指令。

以前类似 PaLM-E 负责看和推理，RT-1 负责动作迁移。现在 RT-2 把两者合二为一，机器人不必再把思维和肢体动作拆成两套系统来对接。

什么是垃圾？它从网上学会了常识

物理世界的数据采集极其昂贵，没人能让机器人把世界上每一种物品都抓取一遍。

RT-2 的厉害之处在于知识迁移。吃完的零食袋或者香蕉皮，在日常语境里都算垃圾，这些概念它早在互联网图文里见过了。

在没有专门针对特定动作做过训练的情况下，RT-2 就能根据这些常识，识别出桌上的废弃物并拿去丢掉。

在超过 6000 次机器人实测中，面对训练集里出现过的老任务，RT-2 表现稳定，跟上一代 RT-1 相当。

但到了全新的、没见过的场景里，RT-2 的成功率直接从 RT-1 的 32% 飙升到了 62%，几乎翻了一倍。

为什么重要

对开发者和研究人员来说，RT-2 证明了大模型不仅能写代码和聊天，它的语义理解能力完全可以下放到机械臂的关节转动上。这意味着以往最耗费成本的机器人采集数据环节，终于可以蹭上整个互联网公开数据的红利。

在行业层面，这打破了此前高层规划与底层控制割裂的路线。以前做具身智能，往往是做软件的管决策、做工业的调控制，中间隔着巨大的沟通成本。DeepMind 这种单模型端到端输出动作的做法，会逼着其他机器人团队重新审视自家的技术架构。

我们认为，DeepMind 这一步走得相当漂亮。它巧妙地绕开了物理世界数据匮乏的死穴，用常识推理弥补了动作数据的不足。

不过隐患同样摆在眼前。62% 的未知场景成功率在实验室里算是不小的飞跃，但如果放进家庭或工业环境，意味着近四成的动作依然会失误，这在面对贵重物品或复杂安全要求时依然不可接受。RT-2 跨出了关键一步，但离真正省心的保姆机器人，还有一段路要走。