Skild AI, 로봇용 '알파고식' 자가 대전 공개: 가상 축구 140년 학습 후 실물 이식

AI에게 바둑을 가르쳐 세계 챔피언을 꺾은 것은 10년 전 DeepMind가 이미 증명한 일입니다. 하지만 바둑판 대신 축구장을 주고, 대상이 휴머노이드 로봇이라면 어떨까요?

피지컬 AI 스타트업 Skild AI가 자체 대련(Self-Play)을 활용한 로봇 강화학습 성과를 공개했습니다. 이들은 지난달 인간의 시연 데이터를 프롬프트처럼 입력받아 동작을 학습하는 로봇 파운데이션 모델 S1을 선보인 바 있습니다. 하지만 인간의 데이터로만 사전 학습된 모델은 결국 인간의 기량이라는 상한선에 갇힐 수밖에 없었습니다.

Skild AI는 이 한계를 깨기 위해 AlphaGo와 OpenAI Five의 핵심이었던 자가 학습 메커니즘을 로봇의 물리 영역으로 다시 불러왔습니다.

가상 시뮬레이터에서 치른 140년의 경기

로봇 공학에서 축구는 악명 높을 만큼 까다로운 과제입니다. 실시간 균형 유지, 주행 속도 제어, 섬세한 볼 컨트롤, 몸싸움까지 동시에 처리해야 하기 때문입니다.

연구진은 로봇에게 복잡한 동작 수칙 대신 골을 넣으라는 단 하나의 목표만 주었습니다. 그리고 NVIDIA의 Isaac Sim 시뮬레이터 안에서 이전 버전의 자기 자신과 끝없이 축구 경기를 치르게 했습니다.

자신이 강해질수록 상대도 함께 강해지는 자동 훈련 사다리 방식이 적용되었습니다. 가상 훈련 초기 몇 달 동안은 제대로 걷지도 못했지만, 훈련이 진행되면서 넘어졌다가 스스로 일어나는 법을 깨우쳤습니다.

무려 140년에 달하는 가상 경기를 치른 끝에 로봇은 수비수를 제치는 드리블, 볼 키핑, 태클 같은 고급 기술을 스스로 터득했습니다. 엔지니어가 직접 코딩한 것이 아니라 득점 확률을 높이기 위해 자발적으로 창발된 동작들입니다. Skild AI는 이 학습 정책을 실제 2족 보행 휴머노이드 로봇에 성공적으로 이식해 현실에서도 동작함을 입증했습니다.

왜 중요한가

우리는 이번 발표가 인간 원격 조작 데이터의 병목에 갇혀 있던 로봇 산업에 중요한 돌파구를 제시했다고 봅니다.

그동안 대다수 로봇 기업은 고비용의 인간 시연 데이터를 모으느라 막대한 시간과 비용을 쏟아부었고, 그렇게 만든 로봇의 기량도 인간 조작자의 한계를 벗어나지 못했습니다. 그러나 고정밀 물리 시뮬레이션과 자가 대련을 결합하면 인간의 개입 없이도 AI가 초인적인 신체 제어 능력을 스스로 진화시킬 수 있다는 점이 입증되었습니다.

축구로 검증된 이 파이프라인은 가상 건설 현장의 자재 운반, 물류 창고의 협동 작업, 도심 내 로봇 주행 등 일상적인 산업 과제로 곧바로 확장될 수 있습니다. 대규모 시뮬레이션을 뒷받침하는 컴퓨팅 인프라의 중요성도 한층 커질 것입니다.

다만 시뮬레이션과 현실 사이의 괴리(Sim-to-Real)는 여전히 숙제입니다. 축구장처럼 비교적 단순하고 트인 공간에서는 통했을지 몰라도, 깨지기 쉬운 물건과 사람이 뒤섞인 복잡한 실생활 환경에서 이처럼 공격적인 자가 학습 제어 정책이 안전성을 담보할 수 있을지는 더 지켜볼 필요가 있습니다.