DeepMind 发布 Gemini Robotics-ER 1.6:机器人学会看仪表盘,空间推理全面升级
Google DeepMind 推出具身推理模型 Gemini Robotics-ER 1.6。新模型大幅增强了空间指向、多视角任务完成检测以及原生工具调用能力。DeepMind 还联手波士顿动力为四足机器人 Spot 引入仪表读数能力,结合代码执行精准读取工业压力表与视镜。
让机器人学会抓杯子已经不算新鲜事,但要让它在遍地管线和仪表盘的化工厂里,准确看懂压力表的指针到底指在哪个刻度,才是真正的硬功夫。
Google DeepMind 正式推出具身推理模型 Gemini Robotics-ER 1.6。这个模型不是去控制机器人关节怎么转,而是给机器人安上一颗负责高层规划的大脑。
新版本在空间推理、物体打点计数和任务完成检测上大幅升级,性能超越了之前的 1.5 版本和通用的 Gemini 3.0 Flash,目前已经上线 Gemini API 和 Google AI Studio。
既能多机位盯任务,还会自己搜搜索
DeepMind 把打点当成空间推理的基本功。在新模型里,打点可以作为中间步骤,不仅能从一堆东西里挑出符合条件的最小物体,还能计算轨迹抓取点,甚至执行类似指向所有能塞进蓝杯子里的物品这种带约束的指令。
机器人干活最怕做没做成全靠猜。现在的机器人身上通常装了多个摄像头,头顶一个,手腕上还有一个。
Gemini Robotics-ER 1.6 增强了多视角理解能力,能把不同视角的视频流在时间维度上拼在一起,就算遇到遮挡或光线不好,也能判断当前动作到底算不算完成,好决定是该重试还是进入下一步。
不仅如此,它还能在做任务时直接调用 Google Search 查资料,或者把具体抓取动作分发给底层的视觉语言动作模型和第三方代码。
带着代码看表盘,识别率冲到 93%
这次更新里最抢眼的新功能,是和波士顿动力合作搞出来的仪表盘读数。
在很多工业厂区里,波士顿动力的 Spot 四足机器人负责巡检,但老厂区里全是各种传统指针表、温度计和化学视镜,光靠普通图像识别极容易被视差或反光带偏。
DeepMind 采用了一种叫智能体视觉的办法。模型看到仪表后,会先放大图像看清刻度细节,接着通过打点定位和代码执行去计算液体高度或指针比例,最后结合世界常识报出读数。据 Future Tools 披露,这项读数准确率达到了 93%。
在物理安全方面,新模型也学得更克制。如果你让它去拿超过 20 公斤的重物或者碰液体,它会在空间规划阶段主动拒绝。针对真实工伤事故场景的测试中,它对危险的识别率比 Gemini 3.0 Flash 在文本上高出 6%,在视频场景下高出 10%。
为什么重要
我们认为,Google DeepMind 这一步走得相当清醒。它没有试图用一个庞大的端到端大模型去包揽机器人的所有底层电机控制,而是把精力集中在高层推理、工具调用和任务校验上。
对于做工业巡检或具身智能的开发团队来说,这个模型非常值得现在去测试。特别是针对老旧工厂的自动化改造,以往要单独训练一套视觉模型去适配几十种不同的旧表盘,成本高得吓人。现在直接调用 Gemini Robotics-ER 1.6,配合现成的 Spot 或轮式底盘,就能快速搭出一套巡检方案。
用写代码算比例的方式来读表盘,看起来比纯靠模型端到端猜数值聪明得多,很大程度上避开了数字幻觉。不过隐患也很明显:这种多步骤的调用链严重依赖云端网络和 API 响应速度,一旦工厂现场网络不稳,巡检机器人的决策节奏就可能被打乱。
来源 (1)
- deepmind.google(在新标签页打开)原文deepmind.google