波士顿动力给机器狗接入 ChatGPT:Spot 化身导览员,能看能聊还能嘴贫
Boston Dynamics 展示了一项概念验证:将 ChatGPT、BLIP-2 视觉模型与 ElevenLabs 语音合成接入机器狗 Spot。机器人不仅能看懂周围环境沿途解说,还能根据设定扮演讽刺、搞笑等性格回答提问。最值得关注的是大模型在实体机器人上展现出的自主联想能力,不过目前每次回答仍有约 6 秒延迟。

给机器狗贴上两只塑料大眼睛,戴上假胡子,它居然能带着一群人在办公室里找「大脚怪」。
这可不是搞笑博主的整蛊视频,而是波士顿动力自己搞的技术原型。波士顿动力的工程师 Matt Klingensmith 和他的团队最近公布了一个概念验证项目:他们把四足机器人 Spot、OpenAI 的 ChatGPT 以及视觉问答模型串在了一起,让这只机器狗摇身一变,成了一个能走、能看、还能当导游的话痨。
像写 Python 代码一样指挥机器狗
波士顿动力团队并没有从头训练一个机器人大模型,而是用了非常巧妙的拼装思路。
硬件上,他们在 Spot 背部的扩展接口上,用 3D 打印的减震支架固定了一套 ReSpeaker V2 麦克风和扬声器阵列。为了让它看起来像在说话,工程师甚至给机械臂加上了低通滤波算法,让夹爪像木偶嘴巴一样随着声音开合。
大脑的核心则是 OpenAI 的模型,最初用 GPT-3.5,后来升级到了 GPT-4。工程师受微软方法的启发,把提示词写得像是一段未完成的 Python 脚本,里面只提供三个动作函数:去某地、说话、提问。
每隔大约一秒,Spot 机械臂和身体前方的摄像头就会把画面喂给视觉模型 BLIP-2,生成环境描述。接着,OpenAI 的 Whisper 负责听懂客人的提问,ElevenLabs 的语音合成技术负责把文本转化为声音说出来。
意料之外的「灵性」与尴尬的幻觉
整套系统跑起来之后,出现了一些让工程师都感到意外的临场发挥。
有人问它波士顿动力创始人「Marc Raibert 是谁」,GPT 并没有硬编,而是回了一句「我不知道,去 IT 咨询台问问吧」,然后真的控制狗腿走到了 IT 部门的工位。当被问到父母是谁时,Spot 自己溜达到了陈列初代 Spot 和早期 BigDog 的展览区,把那些退役老机器称为自己的长辈。
更有意思的是人格设定。工程师给它加上「尖酸刻薄」的性格提示后,它不仅能全程保持讽刺的语气,还拉着一队参观者在办公室里搜索未解之谜生物,问路过的同事有没有见过大脚怪。
不过,现在的它显然还不能真正上岗。最大的硬伤就是延迟,从人说完话到它反应过来,有时候要等上整整 6 秒钟。此外,幻觉也是家常便饭,它曾信誓旦旦地向客人介绍,波士顿动力的仓储物流机器人 Stretch 其实是用来练瑜伽的。
为什么重要
在我们看来,波士顿动力这次展示最聪明的地方,在于放下了硬核机器人公司对「百分之百精确控制」的执念,找到了一条让具身智能落地的捷径。
以前工业级机器人想理解周围的世界,需要极其昂贵且死板的规则编写。波士顿动力把走跑跳这些底层的运动控制留在本地,把环境理解、路线决策和人机对话全扔给了云端大模型,用很低的成本就让机器狗拥有了常识联想能力。
对行业而言,这指明了一条更实际的路线:现阶段没必要死磕端到端的通用具身大模型,拿成熟的语言和视觉模型当调度器,去调动现成的运动 SDK,就已经能产生让人惊艳的拟人效果。
但隐患也很明显。问答之间长达数秒的等待,加上对云端网络的绝对依赖,在导游这种搞笑场景里可以被当成笑料包容,一旦放到安防巡检或工业应急场景,网络抖动或一次严重的模型幻觉就是致命事故。看起来,想要让大模型真正成为工业机器人的大脑,离线部署和确定性控制依然是绕不过去的槛。
来源 (1)
- bostondynamics.com(在新标签页打开)原文bostondynamics.com