跳到正文
IFAI

机器人

Memories.ai 推出 Memories Upload:众包第一人称日常视频,给机器人当训练教材

首次发布 传播指数 76

Memories.ai 推出 Memories Upload 众包平台,让工人佩戴轻量相机录制烹饪、维修等日常工作,转化为机器人训练数据。平台对双手动作进行逐帧标注并支持精准检索,帮助机器人学习人类实操。目前排名前五的机器人实验室中已有 3 家采用。

Memories.ai 推出 Memories Upload:众包第一人称日常视频,给机器人当训练教材
图:memories.ai

想教机器人做家务或修机器,最卡脖子的不是算法,而是根本没有足够的真实数据。让工程师戴着 VR 头显远程操控机械臂,录一天也攒不了几条动作。

总部位于旧金山的初创公司 Memories.ai 换了个思路:既然全世界每天都有无数人在做饭、理货和修机器,为什么不给他们发个微型相机,把人类的日常动作直接变成机器人的教材?

Memories.ai 正式推出了名为 Memories Upload 的全球众包平台。普通人接单戴上相机干活就能拿钱,机器人实验室则可以直接按动作买走标注好的实操视频。

磁吸在手腕上的 45 克相机

要让工人愿意戴着设备干一整天活,硬件必须轻到几乎没有存在感。Memories.ai 自己做了一款叫 LUCI Pin 的穿戴相机,重量不到 45 克,里面只塞了相机、指示灯、开关、主板和磁铁。

这个小方块靠磁吸固定,一秒钟就能在头戴支架、胸前挂件和手腕底座之间切换。两个相机还能配对组成双目立体视觉,帮模型估算空间深度。

给手腕单独装相机非常关键。以前头戴视角拍做饭,手掌捏住杯子那一瞬间往往会被手背挡住;把机位挪到手腕上,机器人就能看清指尖到底在什么角度接触物体、用了多大劲。

这个网络在测试期第一个月就录下了超过 100 万小时的第一人称视频,目标是 2027 年 3 月攒够 1000 万小时。目前平台已经覆盖五大洲、20 个行业的 1000 多种具体工序。

把做饭视频拆成逐帧手部动作

海量视频堆在硬盘里其实没用,机器人开发者看不过来,模型也没法直接吞。Memories.ai 联合英伟达,把这套庞大的素材库做成了能精准搜索的数据库。

他们利用英伟达 Metropolis 检索工具和 Cosmos 物理世界模型,对视频进行了逐帧的手部追踪和动作标注。系统不仅会标出左右手各自在干什么,还会提取关节点的三维位姿,并配上动作描述文字。

换句话说,如果一家公司正在训练泡咖啡的机器人,工程师不用翻看几十个小时的视频,只要搜「左手拿杯子、右手转动磨豆机手柄」,系统就能把对应的片段精准切出来。开发者可以通过 API 或者 MCP 服务直接调取这些数据。

Memories.ai 由前 Meta 研究员 Shawn Shen 和 Ben Zhou 创立,目前已累计拿到 1600 万美元融资。据公司透露,全球排名前五的前沿机器人实验室中,已经有 3 家在用他们的数据训练具身智能模型。

为什么重要

过去几年,机器人界为了搜集训练数据几乎跑断了腿。遥操作虽然精准,但一台遥操作设备动辄几万美元,采集成本极高;仿真环境虽然便宜,但模拟出的物理世界总有一股塑料感,搬到现实里经常失效。

Memories Upload 聪明的点在于,它用极低的硬件成本撬动了全球零工网络,把人类几千年积累下来的长尾操作技能,变成了可被索引的数字资产。对于想要切入特定垂直场景的具身智能团队来说,现在花点钱调接口就能拿到五大洲不同厨房、不同车间的真实交互,门槛被大幅拉低了。

但这个模式也并非没有隐患。人类的肉手有五根手指,肌肉灵活且富有弹性,而大部分机械臂只有两指夹爪或结构各异的灵巧手。看懂人类怎么捏杯子,并不代表机械臂能用自己的金属关节复现出来,形态映射仍然是悬在开发者头顶的一道硬坎。

无论如何,机器人领域的竞争重点正在从拼模型架构转向拼真实世界的数据基建。像 Figure 推出 Index 平台、Physical Intelligence 引入人类实操视频一样,大家都意识到机器人的通用大脑必须在人类的真实生活中泡出来。Memories.ai 抢先把这门生意做成了标准化服务,我们认为这步棋切中了整个具身智能产业最饥渴的痛点。

来源 (4)

  1. [1]
  2. [2]
  3. [3]
  4. [4]

每日 AI 内容精选