5620억 파라미터 로봇 언어 모델 'PaLM-E' 공개: 센서와 언어의 결합
연구팀이 임바디드 멀티모달 언어 모델 'PaLM-E'를 발표했다. 센서 관측 데이터를 언어 모델의 임베딩 공간에 직접 주입하는 방식으로, 최대 5620억 개 파라미터까지 확장된다. 로봇은 이를 통해 '서랍에서 칩 가져오기' 같은 복잡한 다단계 작업을 시각 피드백을 반영하며 수행할 수 있다.
연구팀이 임바디드 멀티모달 언어 모델 'PaLM-E'를 발표했다. 센서 관측 데이터를 언어 모델의 임베딩 공간에 직접 주입하는 방식으로, 최대 5620억 개 파라미터까지 확장된다. 로봇은 이를 통해 '서랍에서 칩 가져오기' 같은 복잡한 다단계 작업을 시각 피드백을 반영하며 수행할 수 있다.