跳到正文
IFAI

机器人

Memories.ai 联手英伟达:为可穿戴设备与机器人打造「视觉记忆层」

首次发布 传播指数 39

前 Meta 工程师创办的初创公司 Memories.ai 宣布与英伟达合作,基于 Cosmos-Reason 2 为可穿戴设备与机器人打造「视觉记忆层」。它让硬件能检索并回忆第一人称视频画面,弥补了当前 AI 记忆局限于文本的短板。

Memories.ai 联手英伟达:为可穿戴设备与机器人打造「视觉记忆层」
图:techcrunch.com

当你戴着智能眼镜或者看着扫地机器人满屋乱跑时,有没有想过一个尴尬的问题:它们虽然长着摄像头,却转头就忘。

现在的 AI 已经能记住你上周聊过什么话题,但如果你问眼镜「我刚才把钥匙落在哪个柜台了」,它通常是一头雾水。原因很简单:过去的 AI 记忆,本质上全是文字。

初创公司 Memories.ai 在英伟达 GTC 大会上宣布与英伟达达成合作。这家由前 Meta 工程师创办的公司,打算借助英伟达的技术,给可穿戴设备和机器人打造一套真正能用的「视觉记忆层」。

做 Meta 智能眼镜时发现的痛点

Memories.ai 联合创始人 Shawn Shen 和 Ben Zhou 此前在 Meta 参与研发 Ray-Ban 智能眼镜背后的 AI 系统。在开发过程中,他们发现了一个根本矛盾:如果用户录下了视频,设备却根本没法帮他们找回特定画面,那戴着录像到底有什么意义?

两人在市场上找了一圈,发现没人做这件事,索性在 2024 年离开 Meta 出来单干。他们认为,AI 在虚拟数字世界已经很厉害了,但在物理世界里,机器人和穿戴设备全靠视觉感知,缺了视觉记忆就根本走不远。

过去两年里,OpenAI、xAI 和 Google Gemini 都给聊天助手加上了记忆功能。但 Shen 指出,这些进步基本都局限在文本层面,文本数据结构规整、好做索引,可现实世界里的物理 AI 需要的是看懂画面并记下来。

截至目前,Memories.ai 已经拿到 1600 万美元融资。这包括 2025 年 7 月完成的 800 万美元种子轮,以及随后由 Susa Ventures 领投的 800 万美元延期融资,投资方还包括 Seedcamp、Fusion Fund 和 Crane Venture Partners 等。

抱团英伟达与高通,软硬兼施

要让 AI 记住看过的画面,说白了就两件事:一是把视频压缩转码成易于存储和检索的数据格式,二是用真实的训练数据喂出模型。

这次联手英伟达,Memories.ai 用上了英伟达的 Cosmos-Reason 2 视觉语言推理模型,以及用于大规模视频搜索和摘要的 Nvidia Metropolis 技术架构。

早在 2025 年 7 月,他们就发布了自研的第一代大视觉记忆模型(LVMM),Shen 把它的定位类比为 Google 最近推出的多模态检索模型 Gemini Embedding 2 的轻量版。现在,他们拿出了第二代 LVMM。

算力落地方面,Memories.ai 还与高通签了协议,计划从今年晚些时候开始,让这套模型跑在高通的芯片平台上。

好玩的是,为了搜集训练数据,他们甚至自己攒了一套名为 LUCI 的穿戴式硬件,派专人戴着到处录视频。Shen 解释说,他们并不打算卖硬件,只是因为市面上现成的录像设备要么追求高画质,要么极度耗电,根本不适合高频采集。

为什么重要

给 AI 补上「眼睛的记忆」,切中的是整个具身智能和穿戴硬件最头疼的断层。

目前大语言模型虽然聪明,但放在机器人或者智能眼镜上,就像一个只有几秒短暂记忆的超强大脑。一旦视频流涌进来,存储吃不消、算力顶不住、检索找不着。Memories.ai 聪明的点在于,它没有去卷基础大模型,也没有死磕整机硬件,而是专心做中间那层索引管道,并拉来英伟达在云端做检索、拉来高通在端侧跑算力。

对普通用户来说,这套方案如果落地,智能眼镜才算真正成为生活助理,比如随时帮你找钥匙、记路线、回顾会议白板。但客观来看,这一天还来得没那么快。正如 Shen 自己坦承的那样,大规模商业化的穿戴设备和机器人浪潮「终究会来,但可能不是现在」。

我们认为,这套视觉记忆层的真正挑战不在算法逻辑,而在功耗与隐私。长时间录制与索引对电池是极大考验,更不用说随时记录周围环境带来的合规争议。不过在行业巨头把注意力放在大模型对话的当下,有人先把物理世界的记忆底座打牢,确实给行业铺了一条关键的台阶。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

每日 AI 内容精选