跳到正文
IFAI

机器人

Google DeepMind 推出 Gemini 机器人 1.5:能思考再动手

首次发布 传播指数 52

Google DeepMind 推出两款机器人模型 Gemini Robotics 1.5 与 Gemini Robotics-ER 1.5。前者是动作模型,能先思考再把指令转为动作,还能跨机器人形态迁移;后者负责空间推理和工具调用。ER 1.5 已在 Google AI Studio 上线,动作模型仅对部分伙伴开放。

图:deepmind.google

让机器人把垃圾按要求分类,光看懂垃圾是什么还不够。它得先上网查本地垃圾分类指南,辨认眼前的纸盒或塑料瓶,再分步骤控制机械臂丢进对应垃圾桶。传统机器人卡在中间任何一步,整个流程就断了。

Google DeepMind 推出两款机器人模型:Gemini Robotics 1.5 和 Gemini Robotics-ER 1.5。前者负责把指令和画面转成机械臂动作,后者则扮演高层大脑,专门负责空间推理和任务规划。

目前,Gemini Robotics-ER 1.5 已经向开发者开放预览,在 Google AI Studio 和 Gemini API 均可调用。负责运动控制的 Gemini Robotics 1.5 则先开放给选定合作伙伴。

一个动脑,一个动手

Google 把机器人的工作拆成了两层结构。

负责高层统筹的 Gemini Robotics-ER 1.5 本质是一个具身推理模型。它能理解复杂的自然语言指令,并在物理场景里做多步骤规划。当收到模糊要求时,它会原生调用 Google Search 查阅资料,或者调用第三方函数来获取外部上下文。

更关键的是它的空间理解能力。在开发者测试中,它能精准输出画面中各物体的二维坐标,并结合深度传感器生成三维空间定位。面对视频流时,它甚至能判断物体的开合状态,或者按时间戳复盘机械臂先后完成了哪些动作。

定好具体步骤后,它会把分解好的自然语言指令转交给 Gemini Robotics 1.5。

动作模型学会在动手前先思考

以往的视觉-语言-动作模型,往往是收到指令就直接映射成电机控制信号。一旦现场环境发生变化,动作很容易变形甚至失败。

Gemini Robotics 1.5 引入了思考链机制,在执行动作之前先生成一段自然语言推理。例如在分拣衣物时,它会先分析「按颜色分类」意味着深色浅色分开,再决定先挪动哪一件衣服、从什么角度抓取更稳,并把长任务拆解成容易执行的短动作。

此外,它还展现出了跨本体学习能力。在 ALOHA 2 机械臂上训练的动作,可以直接迁移到 Apptronik 的双足人形机器人 Apollo 以及双臂 Franka 上,不需要为每种机器人重新做全套专项训练。

在安全方面,Google 升级了 ASIMOV 基准测试,让模型在规划动作时结合常识判断潜在危险,并在必要时触发机载避障等底层安全子系统。

为什么重要

对机器人开发者来说,具身智能过去最大的门槛是通用的空间规划。自己训练一个既懂物体相对位置又会调 API 的大模型成本太高。现在 ER 1.5 开放 API,开发者可以用极低门槛把 Google 的空间推理能力接进现有的机械臂系统,值得立刻在 Google AI Studio 上做原型测试。

对整个行业而言,跨本体迁移能力是这一代模型最关键的突破。如果一套视觉动作模型能在不同构型的硬件间复用,具身智能的数据孤岛就有机会被打破。这会倒逼其他具身智能团队加速统一动作表征。

我们认为,Google 把系统拆成「推理大脑」加「动作小脑」的做法非常实用。让 ER 1.5 去负责耗费算力的多模态检索和规划,底层动作模型只专注执行与容错,兼顾了灵活性与安全性。不过从目前的演示来看,Gemini Robotics 1.5 仍处于早期合作阶段,高层推理转化为精准毫秒级控制的实际延迟,依然需要在更严苛的现实产线中接受检验。

来源 (2)

  1. [1]
    deepmind.google(在新标签页打开)原文deepmind.google
  2. [2]
    developers.googleblog.com(在新标签页打开)报道developers.googleblog.com

每日 AI 内容精选