엔비디아, GPT-4로 로봇에게 펜 돌리기 가르치는 'Eureka' 공개

로봇 손에게 펜 돌리기를 가르치는 것이 얼마나 어려운 일인지 상상하기 쉽지 않습니다. 강화학습을 연구해 본 개발자라면 가장 큰 장벽이 하드웨어가 아니라 보상 함수(Reward Function) 설계라는 사실을 잘 압니다. 손가락 관절을 어떻게 움직여야 하는지 인간이 일일이 수학 코드로 정의하다 보면 끝없는 시행착오에 빠지게 됩니다.

NVIDIA Research는 이 문제를 정면으로 해결하는 새로운 AI 에이전트 Eureka를 공개했습니다. GPT-4 대형 언어 모델을 활용해 로봇 훈련용 보상 알고리즘을 스스로 작성하는 시스템입니다.

Eureka의 훈련을 거친 다관절 로봇 손은 역사상 처음으로 사람과 맞먹는 수준의 빠르고 정교한 펜 돌리기 기술을 구사하는 데 성공했습니다.

GPT-4가 로봇 트레이너가 되어 코드를 직접 짠다

지난 10년간 강화학습은 비약적으로 발전했지만, 정작 로봇에게 무엇이 올바른 행동인지 알려주는 보상 설계는 여전히 엔지니어의 감과 수작업에 의존해 왔습니다.

Eureka는 이 과정을 완전히 자동화했습니다. 특정 작업에 맞춘 프롬프트나 미리 만들어 둔 템플릿 없이도 GPT-4가 강화학습용 보상 소프트웨어 코드를 직접 작성합니다.

작성된 보상 후보 코드들은 NVIDIA Omniverse 기반의 물리 시뮬레이션 플랫폼인 Isaac Gym으로 전송됩니다. GPU 가속을 통해 수천 번의 물리 상호작용 시험을 순식간에 시뮬레이션하며 품질을 검증합니다.

훈련이 끝나면 Eureka는 결과 데이터의 핵심 통계를 요약해 다시 GPT-4에 전달하고, GPT-4는 이를 바탕으로 보상 함수 코드를 스스로 개선합니다. 여기에 인간의 피드백까지 손쉽게 반영해 개발자의 의도에 맞게 동작을 정밀하게 다듬을 수도 있습니다.

인간 전문가 코드의 80% 이상을 능가

공개된 연구 논문에 따르면 Eureka가 생성한 보상 프로그램은 80% 이상의 작업에서 인간 전문가가 직접 작성한 코드를 능가했습니다.

이로 인해 로봇의 평균 작업 수행 능력은 50% 이상 향상되었습니다.

펜 돌리기는 시작에 불과합니다. Eureka는 서랍과 캐비닛 열기, 공 던지고 받기, 가위 다루기 등 거의 30가지에 달하는 복잡한 물리 작업을 로봇에게 마스터시켰습니다. 논문에서는 20가지 정교한 조작 벤치마크에 대한 심층 평가를 다룹니다.

적용 대상도 로봇 손바닥에 그치지 않고 사족보행 로봇, 이족보행 로봇의 달리기 보행, 드론 비행 제어, 협동 로봇 팔까지 망라합니다. 마인크래프트 자율 플레이 에이전트 Voyager 프로젝트에 참여했던 짐 판(Jim Fan) 연구원은 Eureka가 로봇 제어뿐 아니라 그래픽 아티스트를 위한 사실적인 물리 애니메이션 제작 도구로도 확장될 것이라고 설명했습니다. 관련 논문과 알고리즘은 이미 오픈소스로 공개되었습니다.

왜 중요한가

우리는 Eureka가 취한 아키텍처 역할 분담이 매우 영리하다고 평가합니다.

대형 언어 모델에게 로봇 관절 모터를 실시간으로 직접 제어하라고 시키는 대신, 상위 레벨의 알고리즘 설계자로 배치했기 때문입니다. LLM의 논리 및 코드 생성 능력을 활용해 훈련 규칙을 짜게 하고, 고속 시행착오는 GPU 물리 시뮬레이터에 맡기는 분업 구조는 매우 효과적입니다.

로봇 개발자 입장에서 이는 강화학습 개발 과정에서 가장 고통스럽던 수작업 병목을 허물어뜨린 것입니다. 수석 엔지니어가 몇 주 동안 매달려야 했던 보상 튜닝을 몇 시간 만에 전문가 수준 이상으로 뽑아낼 수 있게 되었습니다. 정교한 로봇 매니퓰레이션을 다루는 팀이라면 지금 당장 오픈소스를 내려받아 테스트해 볼 가치가 충분합니다.

다만 시뮬레이션 환경과 실제 현실 사이의 격차(Sim-to-Real)는 여전히 해결해야 할 숙제입니다. Isaac Gym의 완벽한 가상 물리 환경에서 펜을 돌리는 것과, 실제 하드웨어 센서의 지연과 손가락 마찰력의 불확실성을 견뎌내는 것은 완전히 다른 차원의 문제입니다.

그럼에도 Omniverse와 Isaac Gym이라는 강력한 자체 인프라 위에서 소프트웨어와 하드웨어의 결합 가치를 증명해 낸 엔비디아의 생태계 장악력은 경쟁사들에게 큰 압박이 될 것으로 보입니다.