5620억 파라미터 로봇 언어 모델 'PaLM-E' 공개: 센서와 언어의 결합

거대언어모델에 카메라와 로봇 팔을 연결하면, 사람의 말을 알아듣고 방을 정리할 수 있을까요?

Google 연구진이 현실 세계의 센서 데이터를 언어모델에 직접 통합한 임바디드 멀티모달 모델 'PaLM-E'를 공개했습니다.

센서 신호를 단어처럼 읽어내는 구조

기존에는 로봇에 대규모 언어모델을 결합할 때, 카메라 영상을 텍스트 설명으로 먼저 변환한 뒤 모델에 넘겨주는 방식이 일반적이었습니다. 이 방식은 공간적 세부 정보를 잃어버리기 쉽고, 학습 데이터에 없는 새로운 물체를 마주했을 때 멈춰 서기 일쑤였습니다.

PaLM-E는 접근 방식이 완전히 다릅니다. 로봇 카메라의 연속적인 이미지와 로봇의 상태 측정값을 텍스트 토큰과 동일한 차원의 벡터로 직접 인코딩합니다.

즉, 모델 입장에서는 서랍 이미지나 로봇 팔의 위치 데이터가 일반 영어 단어와 다를 바 없습니다. 텍스트와 센서 정보가 뒤섞인 '멀티모달 문장'을 그대로 입력받아, 다음에 취해야 할 행동 계획을 텍스트로 자동 생성합니다.

가장 큰 모델인 PaLM-E-562B는 5400억 파라미터의 언어모델 PaLM과 220억 파라미터의 비전 모델 ViT-22B를 결합한 5620억 파라미터 규모입니다. 특정 작업에 맞춘 미세조정 없이도 시각 질의응답 벤치마크인 OK-VQA에서 최고 성능을 기록했고, 코딩이나 수학 같은 기존 언어 작업 성능도 그대로 유지했습니다.

한 번도 본 적 없는 장난감 거북이 밀어내기

시각과 언어가 완전히 통합되자 로봇의 문제 해결 능력은 크게 달라졌습니다.

실제 로봇 시연에서 "서랍에서 쌀과자를 가져다줘"라는 복합 명령이 주어지자, 로봇은 서랍을 찾고 손잡이를 당겨 연 뒤, 내부 영상을 보며 과자를 집어 배달하는 긴 호흡의 작업을 실시간 시각 피드백을 통해 완수했습니다.

가장 인상적인 대목은 일반화 성능입니다. 탁상형 로봇 팔에 "초록색 블록을 거북이 쪽으로 밀어라"라는 지시를 내렸을 때, 로봇은 훈련 데이터에서 단 한 번도 본 적 없는 장난감 거북이를 정확히 인식하고 블록을 그쪽으로 밀었습니다.

물리 세계에서 로봇이 직접 겪으며 쌓을 수 있는 데이터는 매우 적지만, 인터넷에는 방대한 시각 및 언어 데이터가 존재합니다. PaLM-E는 웹 데이터로 학습한 지식이 물리적인 로봇 학습으로 긍정적으로 전이될 수 있음을 증명했습니다.

왜 중요한가

로봇 공학의 가장 큰 장벽은 언제나 물리 데이터의 부족이었습니다. 현실에서 로봇을 움직여 데이터를 모으는 작업은 웹 텍스트를 수집하는 것보다 수천 배 많은 비용과 시간이 듭니다. 인터넷 규모의 시각 및 언어 지식을 로봇의 두뇌로 직접 끌어와 이 결핍을 메운 것은 매우 현명한 접근입니다.

로봇 및 AI 개발자 관점에서 PaLM-E는 임바디드 AI의 새로운 청사진을 제시합니다. 특정 하드웨어나 작업마다 좁은 전용 모델을 일일이 만들 필요 없이, 강력한 범용 멀티모달 모델이 상위 계획을 세우고 하위 제어기에 명령을 내리는 분업 구조가 현실적임을 보여줬기 때문입니다.

하지만 우리가 보기에 실용화까지의 걸림돌도 분명합니다. 5620억 파라미터에 달하는 거대한 덩치는 로봇 본체의 온디바이스 칩에서 실행할 수 없으며, 무거운 클라우드 인프라가 필수적입니다. 수 초에 달하는 추론 지연 시간 탓에 즉각적인 반응이 필수적인 산업용 고속 조립 현장에는 당장 투입하기 어렵습니다.

그럼에도 PaLM-E가 화면 속 텍스트 챗봇에 갇혀 있던 거대 모델을 현실 물리 세계로 끌어내렸다는 사실은 의심할 여지가 없으며, 기계가 세상을 보고 만지는 방식을 완전히 바꿔놓기 시작했습니다.