螞蟻開源觸覺模型 LingBot-Touch:532 萬引數讓靈巧手擁有通用「手感」
螞蟻靈波開源觸覺基礎模型 LingBot-Touch,把視觸覺、磁觸覺和壓阻式讀數統一轉為標準觸覺 Token。模型基於近 5000 小時真實資料訓練,輕量版僅 532 萬引數,無需重新適配即可跨靈巧手遷移,將動作模型任務成功率提升最高達 24 個百分點。程式碼與權重現已開源。

LingBot-Touch 是螞蟻靈波開源的一款輕量級觸覺基礎模型。它把機器人指尖五花八門的感測器訊號,統一轉換成動作策略模型可以直接讀取的觸覺 Token,讓機械手在不改動模型主幹的情況下獲得通用的物理接觸感知能力。
它能做什麼
在精細操作裡,攝像頭一旦被機械手遮擋,機器人往往就會因為摸不準阻力和打滑而失誤。LingBot-Touch 剛好接管接觸之後的狀態判斷,例如判斷瓶蓋是否擰動、插頭是否卡死、以及物體有沒有從指尖滑落。
在真機測試中,把只有 532 萬引數的輕量版 LingBot-Touch-Tiny 掛載到 π0.5、T-Rex 和 LingBot-VLA 等主流動作模型上,整體引數量只增加約 0.15%,但 26 項真機操作任務的平均成功率提高了 21 到 24 個百分點。以拉拉鏈為例,接上該模型後成功率從純視覺的 39% 提升到 59%;而在單手插吸管、盲摸麻將、擠牙膏等任務中,機器人能直接靠指尖受力變化即時微調姿態。
更重要的是跨硬體零樣本遷移。在從來沒有出現在預訓練資料中的 XHand 靈巧手及其專用磁觸覺感測器上,完全凍結 LingBot-Touch 的權重直接接入,動作模型的平均任務成功率依然從 48% 躍升至 74.17%,分離軟疊杯的成功率更是從 32.5% 翻倍至 72.5%。
怎麼做到的與具體規格
不同觸覺感測器讀數差異巨大,視觸覺拍膠體形變、磁觸覺測磁場、壓阻式量電阻,直接餵給動作模型往往因為大部分時間讀數為零而干擾決策。LingBot-Touch 採用了分層處理的思路:三類感測器各自使用輕量編碼入口消化原始讀數差異,隨後將觸點座標對映到標準化的三維指尖球面空間,通過位置編碼讓模型不再繫結特定的感測器觸點排布。
在訓練機制上,團隊沒有采用還原原始讀數的做法,而是基於 JEPA 架構。訓練時隨機遮擋 90% 的觸點區域,讓模型在特徵空間中預測被遮掩部分的受力表徵。這項設計讓模型在指尖盲摸定位上的中心誤差壓低到了 0.12 毫米,相比此前同類開源模型 FTP-1 的 2.19 毫米有了大幅改善。
預訓練資料集共計 4983 小時、約 13.3 億幀真實觸覺資料。其中約三分之二來自人類佩戴觸覺手套在日常生活中完成操作採集而來,剩下三分之一來自雙臂機器人遙操作。模型本身展現出了擴充套件趨勢,Tiny 版在 4000 小時資料量附近飽和,而容量更大的 Small 版本在 5000 小時資料下效能仍在提升。
怎麼跑起來
目前該專案的技術報告、訓練推理程式碼以及預訓練權重已全部放開。開發者可以直接訪問其 GitHub 倉庫 Robbyant/lingbot-touch 獲取原始碼,模型權重則同步託管在 Hugging Face 和魔搭社群。官方提供了與主流靈巧手及具身動作模型的接入示例,上手只需要將感測器資料接入對應編碼器入口即可產出 Token。
為什麼重要
如果你正在研發靈巧手操作、或者在為機械臂尋找可靠的力反饋方案,LingBot-Touch 值得立刻下載測試。過去硬體與感知強繫結,每換一隻機械手或新增一種感測器就必須重新採集資料、重新訓練模型;現在它把接觸感知抽離成了即插即用的中間層,直接免去了重複造輪子的成本。
和以前依靠專用介面卡的方案相比,LingBot-Touch 證明了人類佩戴手套採集的觸覺資料可以直接遷移給構型完全不同的機器人。這意味著具身智慧在接觸層面的資料規模終於能夠擺脫昂貴機械臂本體的限制,對於整個開源具身社群來說,這是一條非常高效且務實的工程路線。