앤트그룹, 촉각 파운데이션 모델 'LingBot-Touch' 오픈소스 공개: 로봇 손에 범용 '손맛' 부여

LingBot-Touch는 앤트그룹 산하 링보가 오픈소스로 공개한 경량 촉각 파운데이션 모델입니다. 로봇 손가락 끝에 장착된 다양한 센서 신호를 표준 촉각 토큰으로 변환해 주며, 하드웨어가 바뀌어도 모델 재학습 없이 동작 정책 모델이 일관된 물리적 접촉 감각을 활용할 수 있도록 돕습니다.

무엇을 할 수 있는가

로봇이 정밀 작업을 수행할 때 손가락이 물체를 가리면 카메라만으로는 미세한 힘이나 미끄러짐을 감지하기 어렵습니다. LingBot-Touch는 손가락이 닿은 이후의 감각을 책임지며, 병뚜껑이 헛돌지 않는지, 지퍼가 제대로 물렸는지, 열쇠가 걸쇠에 걸리지 않고 들어가는지를 실시간으로 파악합니다.

26가지 실제 작업 테스트 결과, 532만 개 파라미터로 구성된 초경량 버전 LingBot-Touch-Tiny를 π0.5, T-Rex, LingBot-VLA 등 주요 동작 모델에 결합했을 때 전체 파라미터는 약 0.15% 늘어나는 데 그쳤지만 평균 성공률은 21~24%포인트 상승했습니다. 지퍼 잠그기 작업의 경우 시각 단독 사용 시 39%였던 성공률이 59%로 뛰었으며, 빨대 꽂기나 마작패 블라인드 감별, 치약 짜기 같은 고난도 접촉 작업에서도 손끝 반력에 맞춘 자세 제어가 가능해졌습니다.

특히 사전 학습에 전혀 포함되지 않은 하드웨어로의 제로샷 전이 성능이 돋보입니다. XHand 그리퍼와 전용 자기 촉각 센서 조합에 LingBot-Touch의 가중치를 고정한 채 연결했을 때, 동작 모델의 평균 작업 성공률은 48%에서 74.17%로 급증했습니다.

원리와 세부 스펙

시각식, 자기식, 압저항식 등 촉각 센서는 물리적 원리가 서로 달라 원시 데이터를 그대로 모델에 넣으면 노이즈로 작용하기 쉽습니다. LingBot-Touch는 세 가지 센서 방식별로 전용 입력 단계를 두고, 모든 접촉점의 좌표를 표준화된 손가락 3차원 공간으로 매핑해 센서 배치 구조에 구애받지 않도록 설계했습니다.

학습 방식으로는 단순 수치 복원 대신 JEPA 아키텍처를 도입했습니다. 전체 접촉점의 90%를 무작위로 마스킹한 뒤 특징 공간에서 가려진 부위의 접촉 상태를 예측하도록 만들어, 접촉 위치 오차를 기존 오픈소스 모델 FTP-1의 2.19mm에서 0.12mm 수준으로 대폭 줄였습니다.

사전 학습에는 총 4,983시간, 약 13억 3천만 프레임의 실제 촉각 데이터가 사용되었습니다. 이 중 3분의 2는 사람이 촉각 장갑을 끼고 일상 작업을 수행하며 수집한 데이터이고, 나머지 3분의 1은 로봇 원격 조작 데이터입니다. 스케일링 법칙 역시 확인되어 Tiny 모델은 4,000시간 수준에서 포화되지만, 상위 Small 모델은 5,000시간 데이터에서도 성능 향상이 이어집니다.

실행 방법

기술 보고서, 학습 및 추론 코드, 모델 가중치가 모두 공개되어 있습니다. 소스 코드는 GitHub의 Robbyant/lingbot-touch 리포지토리에서 내려받을 수 있으며, 사전 학습 가중치는 Hugging Face와 ModelScope에 올라와 있습니다. 센서 신호를 토크나이저에 입력해 임베딩을 추출하고 동작 모델에 연결하는 공식 예제가 함께 제공됩니다.

왜 중요한가

그리퍼 제어나 촉각 기반 미세 조작을 연구 중인 개발자라면 당장 테스트해 볼 가치가 충분합니다. 지금까지는 센서나 로봇 손을 바꿀 때마다 접촉 데이터를 새로 수집하고 모델을 바닥부터 다시 학습해야 했지만, LingBot-Touch는 접촉 지능을 하드웨어와 분리된 재사용 레이어로 만들어 그 비용을 없앴습니다.

전용 어댑터를 일일이 붙여야 했던 기존 촉각 모델과 비교할 때, 사람이 장갑을 끼고 모은 데이터가 새로운 로봇 손에 제로샷으로 전이된다는 점을 입증한 것은 큰 진전입니다. 비싼 로봇 하드웨어 없이도 물리 지능 데이터를 확장할 수 있는 실용적인 해법을 제시했습니다.