Ant、触覚基盤モデル「LingBot-Touch」をオープンソース公開：532万パラメータでロボットハンドに共通の「手触り」を付与

LingBot-Touchは、Ant Groupがオープンソースで公開した軽量な触覚基盤モデルです。ロボットハンドの指先に搭載された多様なセンサー信号を、動作生成モデルが直接扱える共通の触覚トークンへと変換し、ハードウェアごとに再学習することなく汎用的な接触覚を提供します。

何ができるのか

ロボットが繊細な作業を行う際、指先が物体に触れた瞬間にカメラの視界が遮られ、力加減や滑りを検知できずに失敗するケースが多発します。LingBot-Touchは接触後の状態判断を担当し、ボトルのキャップが空回りしていないか、ジッパーが噛み合っているか、鍵が鍵穴に正しく刺さっているかを指先で捉えます。

26種類の実機タスクによる検証では、わずか532万パラメータのLingBot-Touch-Tinyをπ0.5やT-Rex、LingBot-VLAなどの代表的な動作モデルに組み合わせたところ、モデル全体のパラメータ増加を約0.15%に抑えながら、タスク成功率を21〜24ポイント向上させました。袋のジッパーを閉める作業では純粋な視覚のみの39%から59%へ改善し、麻雀牌の盲牌やストロー差しといった触覚依存の作業も安定してこなします。

特筆すべきは未学習ハードウェアへのゼロショット適応です。事前学習データに一切含まれていないXHandおよびその磁気触覚センサーに対し、LingBot-Touchの重みを完全に固定したまま接続したところ、動作モデルの平均成功率は48%から74.17%へと大きく跳ね上がりました。

仕組みと主な仕様

触覚センサーは、ゴムの変形をカメラで撮る視覚式、磁界の変化を測る磁気式、電気抵抗を測る圧電式など原理が大きく異なります。LingBot-Touchは原理ごとに独立した軽量エンコーダを設け、得られた触点を標準化された指先座標空間へとマッピングすることで、センサーの配置やピン数の違いを吸収します。

学習アルゴリズムにはJEPA構造を採用しました。接触データの90%を意図的にマスクし、生数値を復元するのではなく、隠された部分の接触特徴を特徴空間内で予測させます。この設計により、従来の基盤モデルFTP-1で2.19mmあった接触位置の推定誤差を0.12mmにまで大幅に圧縮しました。

事前学習データは合計4983時間（約13.3億フレーム）に及びます。その3分の2は人間が触覚グローブを装着して日常動作を行うことで収集され、残りの3分の1が双腕ロボットの遠隔操作によるものです。データの拡大に伴うスケーリング則も確認されており、軽量なTiny版は約4000時間で性能が飽和する一方、上位のSmall版は5000時間まで一貫して性能が向上しています。

試し方

技術レポート、コード、学習済みモデルの重みはすべてオープンに提供されています。ソースコードはGitHubのRobbyant/lingbot-touchリポジトリから取得可能で、重みはHugging FaceおよびModelScope上で配布されています。手元のセンサー入力をエンコーダに通してトークンを取り出し、動作ポリシーに結合するためのサンプルコードも揃っています。

なぜ重要か

多指ハンドや遠隔操作ロボットの開発に関わっているなら、今すぐ試す価値があります。従来はセンサーやハンドの型番を変えるたびに、膨大な接触データを一から取り直してモデルを個別調整する必要がありました。LingBot-Touchはその摩擦をなくし、触覚を交換可能なモジュールに変えてくれます。

専用アダプタを必要としていた従来の触覚モデルと比べても、人間が手袋をつけて集めた触覚データが未知のロボットハンドへそのまま転移できることを実証した意義は大きいです。ロボット本体を増やさずに触覚データを安価にスケールさせる現実的な道を切り拓いたと言えます。