跳到正文
IFAI

机器人

Meta FAIR 押注机器人触觉:开源触觉模型 Sparsh 与仿生指尖 Digit 360

首次发布 传播指数 37

Meta FAIR 发布多项具身智能研究成果,包括通用触觉编码器 Sparsh、具备超 18 项传感特性的仿生指尖 Digit 360,以及人机协作基准 PARTNR。Meta 联合 GelSight 等伙伴推进硬件量产,试图补齐机器人在触觉感知上的短板。

Meta FAIR 押注机器人触觉:开源触觉模型 Sparsh 与仿生指尖 Digit 360
图:ai.meta.com

Meta FAIR 这次把机器人最头疼的触觉问题打包开源了。整个套件包括通用触觉编码器 Sparsh、具备超 18 项传感特性的仿生指尖 Digit 360、软硬件整合平台 Digit Plexus,以及一套人机协作评估基准 PARTNR。

做具身智能的人都知道,光靠视觉根本抓不稳东西。一旦手指碰到物体,摄像头就全被挡住了,摩擦力多大、有没有打滑完全靠猜。Meta 这套东西的核心思路,就是把触觉做成跟视觉模型一样的通用基础层,让机械手也能像人手一样摸出质感。

它是怎么做到的

以视觉为基础的触觉传感器五花八门,胶体标记、光源和外形各不相同,以往必须针对每种传感器单独采数据、标力量和打滑,不仅费时而且很难规模化。

Sparsh 的解法是利用自监督学习。Meta 在超过 46 万张触觉图像的大数据集上预训练了这套模型家族,完全不需要人工标注数据,直接学习接触特征。

在 Meta 设立的六项触觉基准任务测试中,Sparsh 在物理感知、属性理解和灵巧规划上的表现,平均比传统专用模型高出 95% 以上。

仿生指尖与硬件整合

硬件方面,仿生指尖 Digit 360 内置了专门的光学感知系统,拥有超 800 万个触觉像素点(taxels),支持全向感知。

它提供超过 18 种传感特性,能捕捉微小到 1 毫牛顿的极微弱力量变化,可以直接分辨微小的空间形貌变化。

为了把这些传感器装上多指机械手,Meta 同时开源了 Digit Plexus。它是一套标准化的软硬件接口,能把指尖和皮肤触觉数据统一打包处理,避免开发者在接线和驱动上反复造轮子。

软件层面还有一套叫 PARTNR 的基准测试,专门用来在家庭等模拟协作环境中评估大模型作为规划器时的表现,检验人机协作下的时空规划与推理能力。

去哪里试

Sparsh 的模型代码、数据集和相关框架已经在 GitHub 和开源社区放出,可以直接下载预训练权重接入现有项目。

Digit 360 硬件与 GelSight 合作制造,明年正式开售,目前科研团队可以通过 Meta 的提案申请(Call for Proposals)申请早期使用资格。

集成 Digit Plexus 的新一代 Allegro Hand 机械手则与韩国 Wonik Robotics 合作生产,同样定于明年上市,目前已开放意向登记。

为什么重要

对于做机器人操作和具身智能的开发者来说,这套工具非常值得现在跟进。它第一次把散落在各个实验室里的触觉传感器用统一的自监督模型打通,不用再为每套夹爪单独标数据。

不过门槛依然在硬件落地。Digit 360 和新版 Allegro Hand 都要明年才能买到,目前手头没有兼容传感器的团队只能先跑仿真和预训练模型。

我们认为 Meta 这步走得很聪明。它避开了自己下场做整机机器人的重资产模式,把触觉感知标准和基础模型开源,再拉来 GelSight 和 Wonik 做量产,试图在具身智能硬件标准确立前抢下定义权。

来源 (1)

  1. [1]
    ai.meta.com(在新标签页打开)原文ai.meta.com

每日 AI 内容精选