구글 딥마인드, 로봇 제어 AI 'RT-2' 공개…미학습 작업 성공률 62% 달성

로봇에게 테이블 위의 쓰레기를 치우라고 명령하는 일은 지금까지 생각보다 훨씬 까다로운 기술적 난제였습니다.

기존 방식대로라면 사과와 빨간 공을 구분하는 법, 사과를 집는 팔의 각도 등을 물리적 환경에서 일일이 학습시켜야 했습니다. 처음 보는 쓰레기가 나오면 로봇은 그대로 멈춰 서기 일쑤였습니다.

Google DeepMind가 공개한 RT-2(Robotics Transformer 2)는 이러한 한계를 대규모 웹 데이터로 돌파하려는 시도입니다.

생각과 행동을 하나로 묶은 단일 모델

기존 로봇 제어 방식은 여러 시스템이 서로 말을 전달하는 게임과 비슷했습니다.

언어 모델이 복잡한 지시를 이해하면, 시각 모델이 주변 환경을 파악하고, 별도의 제어 시스템이 모터를 움직이는 신호로 바꿔야 했습니다.

RT-2는 시각, 언어, 행동을 하나로 통합한 VLA(Vision-Language-Action) 모델입니다.

인터넷의 텍스트와 이미지 데이터를 학습한 트랜스포머 모델이 로봇의 관절 동작 신호를 직접 출력하도록 설계되었습니다.

바나나 껍질이 쓰레기라는 상식을 인터넷에서 배우다

물리 세계에서 수십억 개의 데이터를 직접 수집해 로봇을 훈련하는 것은 막대한 비용이 듭니다.

RT-2는 인터넷 데이터로부터 일반적인 개념을 전이받아 행동으로 옮깁니다. 과자 봉지나 바나나 껍질을 먹고 나면 쓰레기가 된다는 추상적인 개념을 명시적인 추가 훈련 없이도 스스로 파악해 집어 듭니다.

6,000회 이상의 로봇 실험 결과, 이미 훈련된 기존 작업에서는 이전 모델인 RT-1과 동등한 성능을 유지했습니다.

반면 한 번도 본 적 없는 낯선 시나리오에서의 성공률은 RT-1의 32%에서 62%로 두 배 가까이 뛰었습니다.

왜 중요한가

로봇 공학 및 인공지능 개발자에게 RT-2는 파운데이션 모델의 추론 능력이 모터 제어까지 직접 확장될 수 있음을 증명한 사례입니다. 물리적 데이터 수집에 막대한 비용을 쓰지 않고도 웹 규모의 데이터를 로봇 두뇌에 이식할 수 있는 길이 열린 셈입니다.

업계 관점에서는 두뇌와 신체 제어가 분리되어 있던 기존 임바디드 AI 아키텍처에 큰 변화를 예고합니다. 고수준 계획과 저수준 제어를 단일 트랜스포머로 통합하는 DeepMind의 방식은 경쟁 연구진에게도 상당한 자극제가 될 것으로 보입니다.

우리는 물리 데이터 부족이라는 오랜 병목을 웹 지식 전이로 영리하게 우회했다고 봅니다.

하지만 현실적인 한계도 분명합니다. 미학습 환경에서 62%의 성공률은 연구 차원에서는 큰 도약이지만, 실제 가정이나 산업 현장에서 열 번 중 네 번 실패하는 로봇을 안심하고 쓰기는 어렵습니다. 실용적인 범용 로봇으로 가는 중요한 이정표를 세웠으나, 상용화까지는 여전히 넘어야 할 산이 많습니다.