跳到正文
IFAI

機器人

Meta FAIR 押注機器人觸覺:開源觸覺模型 Sparsh 與仿生指尖 Digit 360

首次發布 傳播指數 37

Meta FAIR 釋出多項具身智慧研究成果,包括通用觸覺編碼器 Sparsh、具備超 18 項感測特性的仿生指尖 Digit 360,以及人機協作基準 PARTNR。Meta 聯合 GelSight 等夥伴推進硬體量產,試圖補齊機器人在觸覺感知上的短板。

Meta FAIR 押注機器人觸覺:開源觸覺模型 Sparsh 與仿生指尖 Digit 360
圖:ai.meta.com

Meta FAIR 這次把機器人最頭疼的觸覺問題打包開源了。整個套件包括通用觸覺編碼器 Sparsh、具備超 18 項感測特性的仿生指尖 Digit 360、軟硬體整合平臺 Digit Plexus,以及一套人機協作評估基準 PARTNR。

做具身智慧的人都知道,光靠視覺根本抓不穩東西。一旦手指碰到物體,攝像頭就全被擋住了,摩擦力多大、有沒有打滑完全靠猜。Meta 這套東西的核心思路,就是把觸覺做成跟視覺模型一樣的通用基礎層,讓機械手也能像人手一樣摸出質感。

它是怎麼做到的

以視覺為基礎的觸覺感測器五花八門,膠體標記、光源和外形各不相同,以往必須針對每種感測器單獨採資料、標力量和打滑,不僅費時而且很難規模化。

Sparsh 的解法是利用自監督學習。Meta 在超過 46 萬張觸覺影像的大數據集上預訓練了這套模型家族,完全不需要人工標註資料,直接學習接觸特徵。

在 Meta 設立的六項觸覺基準任務測試中,Sparsh 在物理感知、屬性理解和靈巧規劃上的表現,平均比傳統專用模型高出 95% 以上。

仿生指尖與硬體整合

硬體方面,仿生指尖 Digit 360 內建了專門的光學感知系統,擁有超 800 萬個觸覺畫素點(taxels),支援全向感知。

它提供超過 18 種感測特性,能捕捉微小到 1 毫牛頓的極微弱力量變化,可以直接分辨微小的空間形貌變化。

為了把這些感測器裝上多指機械手,Meta 同時開源了 Digit Plexus。它是一套標準化的軟硬體介面,能把指尖和皮膚觸覺資料統一打包處理,避免開發者在接線和驅動上反覆造輪子。

軟體層面還有一套叫 PARTNR 的基準測試,專門用來在家庭等模擬協作環境中評估大模型作為規劃器時的表現,檢驗人機協作下的時空規劃與推理能力。

去哪裡試

Sparsh 的模型程式碼、資料集和相關框架已經在 GitHub 和開源社群放出,可以直接下載預訓練權重接入現有專案。

Digit 360 硬體與 GelSight 合作製造,明年正式開售,目前科研團隊可以通過 Meta 的提案申請(Call for Proposals)申請早期使用資格。

整合 Digit Plexus 的新一代 Allegro Hand 機械手則與韓國 Wonik Robotics 合作生產,同樣定於明年上市,目前已開放意向登記。

為什麼重要

對於做機器人操作和具身智慧的開發者來說,這套工具非常值得現在跟進。它第一次把散落在各個實驗室裡的觸覺感測器用統一的自監督模型打通,不用再為每套夾爪單獨標資料。

不過門檻依然在硬體落地。Digit 360 和新版 Allegro Hand 都要明年才能買到,目前手頭沒有相容感測器的團隊只能先跑模擬和預訓練模型。

我們認為 Meta 這步走得很聰明。它避開了自己下場做整機機器人的重資產模式,把觸覺感知標準和基礎模型開源,再拉來 GelSight 和 Wonik 做量產,試圖在具身智慧硬體標準確立前搶下定義權。

來源 (1)

  1. [1]
    ai.meta.com(在新分頁開啟)原文ai.meta.com

每日 AI 內容精選