AutoRT·SARA-RT·RT-Trajectory 공개: 로봇 속도와 범용성 대폭 개선

로봇에게 식탁을 닦으라고 시키는 것은 AI에게 코딩을 가르치는 것보다 훨씬 까다롭습니다. 현실 세계의 물리적 상호작용 데이터는 인터넷 텍스트처럼 쉽게 긁어모을 수 없고, 센서가 늘어날수록 계산이 느려지며, 조금만 낯선 환경을 마주해도 오작동하기 일쑤입니다.

Google DeepMind가 이 문제를 정면으로 겨냥한 세 가지 로봇 연구 성과인 AutoRT, SARA-RT, RT-Trajectory를 공개했습니다. 데이터 수집, 모델 추론 속도, 미지의 작업에 대한 적응력을 동시에 끌어올리는 조합입니다.

거대 모델을 현장 관리자로 세우고 '로봇 헌법'을 부여하다

다양한 환경에서 일하는 로봇을 만들려면 대규모의 실제 주행 및 조작 데이터가 필수적입니다. AutoRT는 비전 언어 모델과 대형 언어 모델을 로봇의 작업 지휘관으로 활용하는 시스템입니다.

로봇이 카메라로 주변을 둘러보면 비전 모델이 눈앞의 사물을 파악합니다. 이어 언어 모델이 조리대 위에 간식 올려두기와 같은 실용적인 작업을 여럿 제안한 뒤, 그중 적절한 과제를 골라 로봇 제어 모델에 명령을 내립니다.

7개월 동안 진행된 실제 사무실 환경 테스트에서 이 시스템은 최대 20대의 로봇을 동시에 제어했으며, 총 52대의 로봇을 운용해 6,650개 작업에서 77,000건의 주행 및 조작 데이터를 수집했습니다.

안전 문제도 세심하게 다뤘습니다. 아이작 아시모프의 로봇 3원칙에서 영감을 얻은 로봇 헌법 프롬프트를 도입해 인간을 다치게 하지 않는 것을 최우선으로 두고, 사람, 동물, 날카로운 물체, 가전제품이 얽힌 작업은 아예 배제하도록 했습니다. 여기에 관절에 일정 수준 이상의 외력이 가해지면 멈추는 물리적 안전장치와 비상 스위치를 든 현장 관리자 배치도 병행했습니다.

계산 부담은 덜어내고, 시각적 궤적으로 요령을 가르치다

데이터를 모았더라도 로봇의 두뇌가 느리면 현장에서 쓸 수 없습니다. 로봇 제어에 쓰이는 트랜스포머는 입력 센서 데이터가 늘어나면 계산량이 제곱으로 치솟는 한계가 있습니다.

DeepMind가 내놓은 SARA-RT는 업트레이닝이라는 미세조정 기법을 적용해 이 2차 복잡도를 선형 복잡도로 낮췄습니다. 수십억 개 매개변수를 지닌 RT-2 모델에 적용하자 정확도는 10.6% 상승했고 속도는 14% 빨라졌습니다. 3D 공간 데이터를 다루는 포인트 클라우드 모델에서는 처리 속도가 두 배 이상 향상됐습니다.

세 번째 기술인 RT-Trajectory는 로봇의 일반화 능력을 해결합니다. 식탁을 닦으라는 추상적인 명령을 모터의 관절 움직임과 직접 연결하는 대신, 학습 영상 위에 로봇 팔 집게가 움직인 2D 궤적을 덧그려 시각적인 길잡이를 제공합니다.

이 궤적 덕분에 로봇은 동작의 흐름을 이해하게 됩니다. 학습 데이터에 없던 41개의 낯선 작업으로 테스트했을 때 기존 RT-2의 성공률은 29%에 그쳤지만, RT-Trajectory를 적용한 로봇은 63%의 성공률을 기록했습니다. 사람이 직접 종이에 그린 스케치나 시연 영상도 궤적으로 변환해 활용할 수 있습니다.

왜 중요한가

우리는 이번 발표가 피지컬 AI 분야에서 데이터와 속도 문제를 해결하는 현실적인 방법론을 보여줬다고 봅니다.

그동안 로봇 데이터 수집은 연구자가 조종기를 쥐고 일일이 시연하거나, 시뮬레이션 환경에 의존한 뒤 현실과의 괴리를 메우는 데 급급했습니다. AutoRT는 대형 모델이 스스로 환경을 보고 과제를 만들어 실제 데이터를 모을 수 있음을 입증해 데이터 수집의 병목을 획기적으로 낮췄습니다.

SARA-RT의 가치도 큽니다. 비용이 많이 드는 사전 훈련을 다시 거치지 않고도 기존 트랜스포머 모델의 속도를 높여주기 때문에, 전력과 연산 자원이 부족한 실제 로봇 하드웨어에 더 똑똑한 거대 모델을 이식할 수 있게 만듭니다.

다만 현실적인 한계는 분명합니다. 로봇 헌법이라는 프롬프트를 뒀음에도 결국 현장에는 비상 정지 버튼을 쥔 인간 감독관이 상주해야 했습니다. 소프트웨어 안전 규칙만으로 완벽한 신뢰를 담보하기 전까지는, 사람 없는 공간에 로봇을 완전히 자율적으로 배치하기 어렵다는 점을 역설적으로 보여줍니다.