跳到正文
IFAI

机器人

Google DeepMind发布Gemini机器人模型:折纸装袋全拿下

首次发布 传播指数 43

Google DeepMind基于Gemini 2.0推出Gemini Robotics与Gemini Robotics-ER两款模型。新模型直接输出物理动作,能搞定折纸等高精细操作,泛化基准表现翻倍。Google还联手Apptronik,正把模型装进Apollo人形机器人。

图:deepmind.google

让 AI 玩文字游戏或在屏幕里写代码,大家早就看腻了。但如果让大模型走出机房,去叠千纸鹤或者把零食塞进自封袋,大部分机器人还是会立刻笨手笨脚。

Google DeepMind 在 3 月 12 日给自家的 Gemini 2.0 装上了手和脚。他们发布了两个面向具身智能的新模型:Gemini Robotics 和 Gemini Robotics-ER。说白了,DeepMind 不想再让大模型只活在虚拟世界里,而是要让它直接指挥机械臂干粗活和细活。

一个直接动手,一个在幕后当大脑

这次推出的两个模型分工很明确。

Gemini Robotics 是个标准的视觉-语言-动作(VLA)模型。它直接把物理动作变成了大模型的一种输出方式。以前的大模型输出的是文字或者代码,而它输出的是机器人的电机指令。

按照 DeepMind 的数据,在泛化基准测试中,Gemini Robotics 的表现比现有的主流 VLA 模型翻了一倍还多。它不仅能听懂多种语言的日常对话指令,还能处理从没见过的物品和环境,甚至能做折纸、把零食塞进封口袋这种极考验手指精细度的多步骤动作。

另一个模型 Gemini Robotics-ER 里的 ER 是具身推理(Embodied Reasoning)的缩写。它不直接接管电机,而是扮演懂空间几何的大脑。它把 3D 检测、空间指向和代码生成合在一起,端到端控制机器人的成功率比基础版 Gemini 2.0 提升了 2 到 3 倍。比如看到桌上的咖啡杯,它能自己推算出机械夹爪该怎么避开障碍、以什么角度捏住杯柄,然后生成底层控制代码让机器人去执行。

适配性上,这两个模型除了在经典的 ALOHA 2 双臂平台和高校常用的 Franka 机械臂上训练验证外,还直接接进了人形机器人。DeepMind 已经和人形机器人公司 Apptronik 达成合作,要把 Gemini 2.0 装进后者的 Apollo 人形机器人体内。此外,Boston Dynamics、Agility Robots、Agile Robots 和 Enchanted Tools 也拿到了测试权限。

为了防止力道失控伤到人,DeepMind 这次还开源了一个叫 ASIMOV 的安全评估数据集,并把科幻作家阿西莫夫的机器人三定律做成了自然语言形式的机器人宪法框架,用来约束大模型的动作意图。

为什么重要

具身智能最大的难点,一直是从屏幕里的懂,到物理世界的会做。以往给机器人写程序,换个光线、换个不同颜色的杯子,代码就可能崩掉。Gemini Robotics 证明了大模型的多模态理解能力可以直接转化成物理泛化能力,即使没见过的杂物也能拿得起来。

对机器人硬件厂商来说,这是个明显的利好。像 Apptronik 这样的人形机器人公司,硬件本体造出来了,最缺的就是通用大脑。DeepMind 开放 ER 模型给外部测试,意味着硬件团队不需要自己从头训几百亿参数的物理控制大模型,直接接上 Google 的云端或边缘大脑就行。

我们认为,DeepMind 这一步走得相当务实,它没有像某些初创公司那样只押注端到端的大一统黑盒,而是同时保留了 ER 这种兼顾传统控制器和代码生成的路线。底层电机需要高频防撞,上层语义需要大模型理解,把两者拆开,安全性和实用性明显更高。

但隐患也很明显。零食包装袋和折纸虽然惊艳,但实验室环境和嘈杂多变的工厂、家庭完全是两码事。真正的物理世界延迟要求极高,Gemini 这种庞大体量的模型能否保证毫秒级的实时反应、算力成本要多少,DeepMind 还没给出完全令人信服的落地方案。目前它只对少数受邀伙伴开放,普通开发者想在自己的小车或机械臂上用起来,大概还要再等等。

来源 (1)

  1. [1]
    deepmind.google(在新标签页打开)原文deepmind.google

话题追踪Google Gemini 机器人技术

这个话题的历次新闻,最新的在上面。

  1. Google 详解 Gemini 机器人模型:从叠千纸鹤到投篮,通用具身智能来了
  2. Google DeepMind发布Gemini机器人模型:折纸装袋全拿下本条

每日 AI 内容精选