스킬드 AI, 단 한 편의 영상으로 새 작업 익히는 로봇 파운데이션 모델 'S1' 공개

로봇에게 팬케이크를 뒤집거나 커피를 내리는 법을 가르치려면 수십, 수백 시간 분량의 데이터를 모아 모델을 미세조정(Fine-tuning)해야 했습니다.

피지컬 AI 스타트업 스킬드 AI(Skild AI)는 8월 25일, 단 한 편의 시연 영상만 보면 추가 학습 없이 새로운 작업을 즉시 수행하는 로봇 파운데이션 모델 'S1'을 공개했습니다. 거대언어모델(LLM)이 프롬프트를 읽고 즉시 답을 내놓는 것처럼, 로봇에도 '인컨텍스트 러닝(In-Context Learning)'을 구현한 것입니다.

로봇 공학의 'BERT 시대'를 끝내다

스킬드 AI는 현재의 로봇 분야가 여전히 언어 모델의 'BERT 시대'에 갇혀 있다고 꼬집었습니다.

지금까지는 새로운 작업을 수행할 때마다 현장 데이터를 수집해 특정 작업용 정책을 미세조정해야 했습니다. 심지어 데이터가 충분하면 사전 훈련 없이 처음부터 학습시킨 모델이 파운데이션 모델을 미세조정한 것과 비슷한 성능을 낸다는 연구 결과까지 나오면서, 로봇 분야에서 사전 훈련이 왜 필요한지에 대한 의문이 꾸준히 제기되어 왔습니다.

스킬드 AI는 사전 훈련의 진정한 목적이 언어 모델이 GPT-3로 넘어가며 얻었던 '프롬프트 기반 즉시 학습' 능력이어야 한다고 봅니다. 1년 전 보행 로봇용 인컨텍스트 러너를 선보였던 이들은, 이번에 물체 조작(Manipulation) 전반을 다루는 플래그십 모델 S1을 바닥부터 새롭게 구축했습니다.

10분짜리 미학습 작업도 영상 한 번 보면 끝

"컵을 건네줘" 같은 단순 동작은 언어 지시로 충분하지만, 팬케이크 뒤집기, 화분 분갈이, 커피 내리기처럼 길고 섬세한 작업은 말로 설명하기 어렵습니다. 사람도 이런 작업은 눈으로 직접 보며 배웁니다.

S1은 언어 대신 영상 시연을 프롬프트로 받아들입니다. 특히 사전 훈련 데이터에 전혀 포함되지 않은 완전한 신규 작업임에도 불구하고, 최대 10분에 달하는 긴 호흡의 연속 동작을 안정적으로 완수해 냈습니다.

새로운 작업에 대한 테스트에서 S1은 기존 VLA(시각-언어-행동) 모델들을 훌쩍 뛰어넘었습니다. 단 한 편의 영상 프롬프트만으로, 기존 모델이 50~100시간 분량의 데이터로 미세조정을 거쳐야 도달할 수 있었던 성능을 그대로 재현해 낸 것입니다. 현재 스킬드 AI는 일부 산업 파트너들을 대상으로 S1 배포를 시작했습니다.

왜 중요한가

산업 현장이나 제조 라인 입장에서 이번 발표는 로봇 도입 비용을 극적으로 낮출 수 있는 신호탄입니다. 생산 라인에 부품이 바뀌거나 공정이 변경될 때마다 엔지니어가 며칠씩 데이터를 재수집하고 모델을 튜닝할 필요 없이, 현장 작업자의 시연 영상 하나로 로봇을 바로 투입할 수 있기 때문입니다.

우리는 스킬드 AI가 로봇 파운데이션 모델의 본질적인 숙제를 정확히 짚었다고 봅니다. 그동안 업계가 20초 남짓의 단순 작업이나 이미 학습된 데이터의 범주 안에서 성과를 과시해 왔다면, S1은 사전 훈련에 없던 10분짜리 고난도 작업을 비디오 프롬프트로 풀어내며 기준선을 한 단계 끌어올렸습니다.

다만 영상 시연만으로는 마찰력, 무게 중심, 저항감 같은 물리적인 촉각 정보를 전달하기 어렵다는 한계가 분명합니다. 시각적 모방만으로 정밀 조립이나 파손 위험이 큰 물체를 다루는 현장의 돌발 상황까지 온전히 방어할 수 있을지는 실제 산업 환경의 배치 결과를 지켜볼 필요가 있습니다.