跳到正文
IFAI

机器人

DeepMind 拿 Gemini 1.5 Pro 指路:机器人看懂手绘地图,成功率 90%

首次发布 传播指数 34

本周,Google DeepMind 展示新研究 Mobility VLA,将 Gemini 1.5 Pro 接入 Everyday Robots 机器人。员工说出需求或画张草图,它就能看懂并自主带路,在 9000 平方英尺办公室中交互成功率约 90%。

图:techcrunch.com

去年 Google 大裁员的时候,曾经备受瞩目的 Everyday Robots 项目被直接砍掉,那一批造价不菲的轮式机器人看起来成了办公室角落里的摆设。

但这周,Google 旗下的 DeepMind 机器人团队把这群「下岗机器人」拉了出来。给它们戴上一枚俏皮的黄色小领结,再塞进一个 Gemini 1.5 Pro 大脑之后,这些机器人开始在 9000 平方英尺的办公室里到处溜达当向导了。

像带新员工一样遛一圈就能认路

DeepMind 这周公布了一篇题为《Mobility VLA》的论文,核心就是用 Gemini 1.5 Pro 的长上下文能力和拓扑图,教机器人听懂人类指令并在复杂办公环境里导航。

传统机器人建图通常要靠昂贵的激光雷达反复扫描,或者工程师把死板的地图数据硬编码进去。但这次 DeepMind 换了个思路,用了一种叫做 MINT(演示漫游多模态指令导航)的方法。

说白了,这就跟带新入职的同事熟悉工位差不多。人类带着机器人在办公室里走上一圈,一边走一边用自然语言给它介绍不同地标。机器人把看到的画面和听到的话存下来,利用层次化视觉-语言-动作架构(Hierarchical VLA),把环境空间和常识推理结合在一起。

建立好记忆之后,机器人不仅能听懂口头人话,还能识别墙上的涂鸦手势甚至手绘草图。

听得懂黑话,还看得懂白板草图

在 DeepMind 公布的演示视频里,员工只要像呼唤智能音箱一样喊一句「OK, Robot」,就能给它派活。

一位员工对它说「带我去个能画画的地方」。机器人停顿了一下回复说「好的,给我一分钟,Gemini 正在思考」,随后就稳稳地把人领到了一面巨大的白板墙前面。

在另一个测试里,员工让机器人按照白板上画的指示走。白板上只画了一张非常简陋的草图路线,指向所谓的「蓝色区域」。机器人盯着白板看了一会儿,自己规划了一条稍显曲折的路线,一路走到了内部的机器人测试区,最后用极具自信的语气播报自己已经成功按指示到达。

根据 Google 的数据,在与员工进行的 50 多次真实交互中,这套系统的导航成功率达到了 90% 左右。

为什么重要

我们认为,DeepMind 这项实验最聪明的地方,在于它没有去硬卷机器人的机械运动控制,而是把前沿大模型的多模态和长上下文能力,直接当成了机器人的高级认知中枢。

过去服务型机器人的痛点不是轮子走不稳,而是根本听不懂人类那些模糊的意图。你说「我想画画」,传统程序在地图里根本搜不到这个房间名字。Gemini 1.5 Pro 把常识推理补齐之后,机器人不仅能理解抽象需求,甚至能像人类实习生一样看懂临时手绘的草图路线,这就让机器人在办公楼、医院或仓库里的实用性一下子拉高了一个台阶。

不过目前它也有很明显的短板。视频里机器人每次行动前都要说一句「给我一分钟思考」,这种数十秒的延迟在演示里看着挺萌,在真实生产环境里却可能让人失去耐心。而且 50 多次测试的样本量依然偏小,在人来人往、杂物随处乱放的动态环境里,90% 的成功率也意味着每十次就会出一次差错。

但不管怎么说,Google 证明了把大模型当做机器人大脑的可行性。那些原本被废弃的旧硬件,只要换上足够聪明的模型,就能瞬间变成懂得看脸色和读地图的助手。具身智能的门槛,看起来正在被纯软件和大模型的能力迅速推平。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

每日 AI 内容精选