구글 딥마인드, 33개 연구실과 맞손: 범용 로봇 데이터셋 및 RT-X 공개

구글 딥마인드가 전 세계 33개 학술 연구실과 협력해 오픈소스 로봇 데이터셋인 'Open X-Embodiment'와 이를 기반으로 학습된 'RT-X' 모델을 공개했습니다. 형태가 다른 여러 로봇의 동작 데이터를 하나로 모아, 다양한 기체에서 작동 가능한 범용 로봇 모델을 만드는 것이 핵심입니다.

기존 로봇 제어 모델은 특정 하드웨어와 작업 환경에 종속되어 있어, 로봇 팔이나 집게가 조금만 바뀌어도 처음부터 다시 학습해야 했습니다. 이번 프로젝트는 이러한 파편화 문제를 해결하고 로봇 간 기술 전이를 유도하기 위해 개발되었습니다.

22종의 로봇과 100만 건 이상의 시연 데이터

Open X-Embodiment는 20개 이상의 연구기관에서 수집된 22가지 로봇 형태의 데이터를 포함합니다. 500개 이상의 기술과 15만 개 이상의 작업, 그리고 100만 회가 넘는 에피소드로 구성되어 있어 해당 분야에서 가장 광범위한 데이터셋입니다. 딥마인드는 이를 로봇 분야의 'ImageNet' 모멘트에 비유했습니다.

이를 기반으로 대규모 로봇 제어 모델 RT-1을 파생시킨 'RT-1-X'와, 비전-언어-행동(VLA) 모델인 RT-2 기반의 'RT-2-X'가 제작되었습니다. 구조는 유지한 채 데이터 다양성을 극대화해 일반화 성능을 끌어올린 방식입니다.

교차 학습의 효과와 창발적 능력

5개 파트너 연구실에서 널리 쓰이는 5종의 로봇을 대상으로 테스트한 결과, RT-1-X는 각 로봇 전용으로 개별 훈련된 기존 모델 대비 평균 50% 향상된 작업 성공률을 기록했습니다.

더 큰 모델인 RT-2-X에서는 새로운 기술에 대한 일반화가 더욱 두드러졌습니다. 특정 로봇의 기존 훈련 데이터에는 없었지만 다른 로봇의 데이터셋에 포함되어 있던 객체와 작업을 수행할 때, 기존 RT-2 대비 성공률이 3배 높아졌습니다.

공간 이해력도 개선되어, '사과를 천 위에 놓아라'를 '사과를 천 근처로 옮겨라'로 바꾸는 전치사 차이만으로도 로봇의 이동 궤적을 정밀하게 조절합니다. 다만 연구진은 이러한 교차 전이가 충분히 큰 모델 용량을 갖췄을 때 발현된다고 설명했습니다.

데이터 및 모델 이용 방법

Open X-Embodiment 데이터셋과 RT-1-X 모델 체크포인트는 연구 커뮤니티를 위해 오픈소스로 공개되어 누구나 접근할 수 있습니다. 추가적인 데이터 기여나 연구 협력도 공식 채널을 통해 지원합니다.

왜 중요한가

로봇 공학이나 임바디드 AI를 연구하는 개발자라면 즉시 살펴볼 만한 가치가 있습니다. 물리적인 로봇 조작 데이터를 개별 연구실이 수십만 건 이상 모으는 것은 비용 장벽이 컸는데, 이를 공유 데이터로 해결할 수 있는 길이 열렸기 때문입니다.

형태가 다른 로봇의 데이터를 함께 학습시키는 것이 오히려 단일 로봇의 성능까지 끌어올린다는 점을 증명한 것은 매우 똑똑한 접근입니다. 다만 현재 배포된 것은 연구용 체크포인트 중심이므로, 실제 산업 현장이나 복잡한 비정형 환경에 바로 투입하기보다는 추가적인 도메인 파인튜닝과 안전 검증이 선행되어야 합니다.