蚂蚁开源触觉模型 LingBot-Touch:532 万参数让灵巧手拥有通用「手感」
蚂蚁灵波开源触觉基础模型 LingBot-Touch,把视触觉、磁触觉和压阻式读数统一转为标准触觉 Token。模型基于近 5000 小时真实数据训练,轻量版仅 532 万参数,无需重新适配即可跨灵巧手迁移,将动作模型任务成功率提升最高达 24 个百分点。代码与权重现已开源。

LingBot-Touch 是蚂蚁灵波开源的一款轻量级触觉基础模型。它把机器人指尖五花八门的传感器信号,统一转换成动作策略模型可以直接读取的触觉 Token,让机械手在不改动模型主干的情况下获得通用的物理接触感知能力。
它能做什么
在精细操作里,摄像头一旦被机械手遮挡,机器人往往就会因为摸不准阻力和打滑而失误。LingBot-Touch 刚好接管接触之后的状态判断,例如判断瓶盖是否拧动、插头是否卡死、以及物体有没有从指尖滑落。
在真机测试中,把只有 532 万参数的轻量版 LingBot-Touch-Tiny 挂载到 π0.5、T-Rex 和 LingBot-VLA 等主流动作模型上,整体参数量只增加约 0.15%,但 26 项真机操作任务的平均成功率提高了 21 到 24 个百分点。以拉拉链为例,接上该模型后成功率从纯视觉的 39% 提升到 59%;而在单手插吸管、盲摸麻将、挤牙膏等任务中,机器人能直接靠指尖受力变化实时微调姿态。
更重要的是跨硬件零样本迁移。在从来没有出现在预训练数据中的 XHand 灵巧手及其专用磁触觉传感器上,完全冻结 LingBot-Touch 的权重直接接入,动作模型的平均任务成功率依然从 48% 跃升至 74.17%,分离软叠杯的成功率更是从 32.5% 翻倍至 72.5%。
怎么做到的与具体规格
不同触觉传感器读数差异巨大,视触觉拍胶体形变、磁触觉测磁场、压阻式量电阻,直接喂给动作模型往往因为大部分时间读数为零而干扰决策。LingBot-Touch 采用了分层处理的思路:三类传感器各自使用轻量编码入口消化原始读数差异,随后将触点坐标映射到标准化的三维指尖球面空间,通过位置编码让模型不再绑定特定的传感器触点排布。
在训练机制上,团队没有采用还原原始读数的做法,而是基于 JEPA 架构。训练时随机遮挡 90% 的触点区域,让模型在特征空间中预测被遮掩部分的受力表征。这项设计让模型在指尖盲摸定位上的中心误差压低到了 0.12 毫米,相比此前同类开源模型 FTP-1 的 2.19 毫米有了大幅改善。
预训练数据集共计 4983 小时、约 13.3 亿帧真实触觉数据。其中约三分之二来自人类佩戴触觉手套在日常生活中完成操作采集而来,剩下三分之一来自双臂机器人遥操作。模型本身展现出了扩展趋势,Tiny 版在 4000 小时数据量附近饱和,而容量更大的 Small 版本在 5000 小时数据下性能仍在提升。
怎么跑起来
目前该项目的技术报告、训练推理代码以及预训练权重已全部放开。开发者可以直接访问其 GitHub 仓库 Robbyant/lingbot-touch 获取源码,模型权重则同步托管在 Hugging Face 和魔搭社区。官方提供了与主流灵巧手及具身动作模型的接入示例,上手只需要将传感器数据接入对应编码器入口即可产出 Token。
为什么重要
如果你正在研发灵巧手操作、或者在为机械臂寻找可靠的力反馈方案,LingBot-Touch 值得立刻下载测试。过去硬件与感知强绑定,每换一只机械手或新增一种传感器就必须重新采集数据、重新训练模型;现在它把接触感知抽离成了即插即用的中间层,直接免去了重复造轮子的成本。
和以前依靠专用适配器的方案相比,LingBot-Touch 证明了人类佩戴手套采集的触觉数据可以直接迁移给构型完全不同的机器人。这意味着具身智能在接触层面的数据规模终于能够摆脱昂贵机械臂本体的限制,对于整个开源具身社区来说,这是一条非常高效且务实的工程路线。