제너럴리스트 AI, GEN-1.5 공개: 몇 초짜리 시연만 보고 새 작업 습득

로봇 팔에 새로운 작업을 가르치려면 보통 수많은 시간이 들어갑니다. 일일이 제어 코드를 짜거나 수백 번의 원격 조종 데이터를 모아 모델을 다시 미세조정해야 했기 때문입니다.

이러한 상식을 뒤흔드는 모델이 나왔습니다. 8월 19일, 로보틱스 스타트업 제너럴리스트 AI는 로봇 파운데이션 모델 GEN-1.5를 공개했습니다.

핵심은 파라미터 업데이트나 추가 학습 없이도 새로운 동작을 곧바로 익힌다는 점입니다. 3초에서 12초 분량의 시연 데이터 딱 한 번을 컨텍스트에 넣는 것만으로 로봇이 곧장 행동을 따라 하기 시작합니다.

연구진은 이를 '물리 프롬프트(Physical Prompting)'라고 부릅니다. 지퍼 열기, 유리병 뚜껑 열기, 지갑에서 돈 꺼내기 등 10개 작업에서 테스트한 결과, 단 한 번의 시연만으로 평균 59%의 성공률을 기록했습니다.

언어 모델의 프롬프트처럼 로봇 가르치기

2020년 GPT-3가 몇 가지 예시만 보고 답을 맞히는 인컨텍스트 학습으로 충격을 줬던 순간이 하드웨어 분야에서 그대로 재현된 셈입니다.

GEN-1.5는 영상, 센서 정보, 관절 상태, 자연어 입력을 받아 초당 100회(100 Hz) 속도로 모터 궤적을 뿜어냅니다. 30초짜리 컨텍스트 윈도우 앞단에 시연 영상을 두고, 뒷부분에 현재 시점의 실시간 입력을 받아 제어합니다.

흥미로운 건 인컨텍스트 학습을 위해 특수한 메타 학습 구조를 따로 설계하지 않았다는 점입니다. 가정, 물류창고, 공장에서 수집한 상호작용 데이터로 8개월 동안 대규모 사전 학습을 진행하자 이 능력이 스스로 발현됐습니다.

확장성도 뛰어납니다. 각각 따로 녹화된 두 가지 동작을 프롬프트로 넣으면, 로봇이 중간에 필요한 자세 재정렬이나 다시 잡기 같은 연결 동작을 스스로 만들어내며 연속해서 해냅니다.

심지어 시뮬레이터에서 뽑아낸 동작 궤적을 프롬프트로 넣어도 실제 로봇이 알아듣고 현실에서 따라 합니다. 모델 사전 학습에 시뮬레이션 데이터를 전혀 넣지 않았는데도 가능했던 결과입니다. 만약 5분 분량(약 50회)의 데이터로 10단계 미세조정을 거치면 성공률은 83%까지 올라갑니다.

왜 중요한가

그동안 로봇 자동화 도입이 지지부진했던 가장 큰 이유는 현장이 바뀔 때마다 들여야 하는 학습 비용이 너무 컸기 때문입니다.

GEN-1.5는 대규모 사전 학습을 거친 로봇 파운데이션 모델이 마치 LLM처럼 몇 초짜리 프롬프트만으로 새로운 환경에 즉각 적응할 수 있음을 증명했습니다. 앞으로 복잡한 코딩 대신 짧은 동작 클립들을 조립해 작업을 시키는 '물리 프롬프트 엔지니어링'이 새로운 표준이 될 가능성을 보여줍니다.

하지만 당장 현장에 투입하기엔 갈 길이 멉니다. 59%라는 성공률은 소프트웨어라면 다시 시도하면 그만이지만, 물리 세계에서는 물건을 떨어뜨리거나 파손하는 치명적인 사고로 이어질 수 있습니다. 수행할 수 있는 작업도 아직은 지속 시간이 짧고 단순한 형태에 머물러 있습니다.

우리는 제너럴리스트 AI가 로봇 제어를 별개의 최적화 문제가 아닌 순수 시퀀스 모델링으로 풀어낸 방식이 매우 영리하다고 평가합니다. 개발자들에게는 프로토타입 제작 속도를 비약적으로 끌어올릴 희소식이지만, 완벽한 무인 자동화를 기대하는 산업 현장이라면 여전히 조심스럽게 지켜볼 단계입니다.