跳到正文
IFAI

机器人

MIT 推出 DAAAM 系统:给机器人装上实时「长期记忆」

首次发布 传播指数 35

MIT 研究团队公布名为 DAAAM 的机器人记忆系统。它通过生成带时间戳的「4D 场景图」,实时记录机器人何时何地看到了什么物体,并支持自然语言查询。测试中其导航任务正确率提升约 28%,团队表示后续将开源代码。

如果你家里有扫地机器人,你大概经历过这种绝望:它每天把屋子扫三遍,但如果你问它眼镜掉在哪个角落了,它就像刚出厂一样一无所知。

机器人一直很擅长在三维空间里避障、建图,但只要扯上时间,它们基本上就患有短期失忆症。MIT 最近公布了一套叫 DAAAM 的系统,全称直译过来很霸气:在任何地点、任何时刻描述任何东西(Describe Anything, Anywhere, at Any Moment)。它想做的事,就是给机器人装上真正的长期记忆。

把世界画成一张带时间轴的 4D 网

以住很多机器人识别物体,做法是逐帧拍照然后硬存快照。这种做法不仅费算力,而且画面一帧一帧之间是断开的,机器人根本不知道两分钟前看到的那把螺丝刀,跟现在桌角放的是不是同一个。

DAAAM 换了个思路,直接在机器人脑子里生成所谓的「4D 场景图」。它接入深度相机的视频流,画面里出现的每个物体,都会被标上三样东西:文本描述、3D 空间坐标,以及一个精确的时间戳。

机器人一边走,深度相机一边以每秒 10 帧的速度捕捉周围环境。遇到视野里的物体,系统会挑出最清晰的几帧打包成批次,扔给后台单独的描述大模型去理解。靠着这种智能批处理技巧,整体处理速度直接飙到了传统方式的大概 10 倍。

在单张普通桌面显卡上,它每秒能给大约 5 个新物体片段打上标签。对于慢悠悠逛街的地面移动机器人来说,这个速度刚好够用。

问它「红钳子在哪」,它能算时间

建好这张 4D 动态地图之后,后面跟着一个 AI 推理模块。用户不用输入代码,直接用人话提问就行。

比如在校园测试里,有人问某栋楼旁边的雕塑在哪,它能直接找出位置、外观描述,以及最后一次看到该雕塑的准确时间。如果工厂里的工人问「红色扳手最后出现在哪里」或者「那扇门开了多久」,它都能顺着时间线找出来。

在包含了室内外环境的问答基准测试里,DAAAM 在物体识别、位置定位和时间推断上都压过了对手。而在另一项自主导航测试里,让机器人理解日常语言并按顺序到达指定地点,DAAAM 的任务完成准确率比最好的替代方案高出了大约 28%。

当然,这套系统目前毛病也不少。负责生成描述的模型只用了大约 150 万个样本训练,遇到少见的东西就容易「脑补」。论文里举了个有意思的例子:它看到电梯门时,居然凭空断定门上有把手。

另外,每秒 5 个物体的识别速度,放在高速飞行的无人机或 VR 头显上就彻底歇菜了。而且它现在是把历史记录一股脑存下来,机器人如果连续跑上几个月,记忆库估计会直接撑爆。

为什么重要

我们认为,DAAAM 迈出的这一步非常聪明。它没有试图去训练一个能在 10 FPS 速度下实时端到端跑完的多模态大模型,那是算力的无底洞;它选择把高频的空间跟踪与低频的语义描述拆开,用异步批处理做了一个现实可行的工程折中。

对行业来说,它把机器人领域的具身智能从「看眼前」推向了「记过去」。过去大家都在卷 SLAM 建图和单一动作控制,但具身机器人想进工厂、医院或养老院,核心门槛其实是时空因果链。如果护工机器人不知道病人的药盒什么时候被移走,再灵巧的机械臂也派不上用场。

不过,现在的 DAAAM 还停留在原型验证阶段,普通开发者哪怕等它开源,也不建议直接往实际产线里塞。它最大的隐患是缺乏记忆压缩和遗忘机制,长时间运行必崩;其次是幻觉问题,在工业巡检里,把没把手的门认出把手可能是致命的。但至少,它给未来的具身大脑指了一条极具落地可能的解题思路。

来源 (1)

  1. [1]
    studyfinds.com(在新标签页打开)原文studyfinds.com

每日 AI 内容精选