오디세이, 단일 모델로 로봇팔부터 자율주행까지 제어하는 '오디세이-3' 공개

지금까지 로봇이나 자율주행을 개발할 때 가장 큰 걸림돌은 하드웨어마다 두뇌를 따로 만들어야 한다는 점이었습니다. 로봇팔, 이족보행 휴머노이드, 자율주행차, 드론까지 각 기기마다 수만 시간의 맞춤형 데이터를 수집해 모델을 개별 학습시켜야 했습니다.

오디세이(Odyssey)가 이 공식을 깨뜨리는 기반 세계 모델 '오디세이-3(Odyssey-3)'을 발표했습니다. 하나의 통합 모델로 다양한 물리적 시스템을 모두 제어하는 범용 물리 지능을 구축하겠다는 시도입니다.

물리 법칙부터 배우고, 행동은 나중에 익힌다

오디세이-3의 핵심 구조는 자기회귀 확산 트랜스포머(autoregressive diffusion transformer)입니다. 처음부터 로봇을 움직이는 법을 가르치는 대신, 방대한 시각 데이터를 통해 중력, 물체의 운동, 인과 관계, 인간의 행동 양식 등 물리 세계의 기본 규칙을 먼저 학습시킵니다.

세상의 이치를 이해하고 나면 특정 기기에 적용하는 과정은 매우 간단해집니다. 사전 학습된 거대 세계 모델을 동결(freeze)한 뒤, 가벼운 행동 디코더(action decoder)만 연결해 수십 시간 분량의 제어 데이터로 미세 조정을 거칩니다.

결과는 놀랍습니다. 로봇팔 실험에서는 수십 시간의 시연 데이터만으로 복잡한 작업을 수행했을 뿐 아니라, 학습 데이터에 없었던 실패 복구 행동까지 스스로 구현했습니다. 물건을 쥐다 놓치면 그리퍼 각도를 다시 조정하고, 엉뚱한 위치에 떨어진 물건을 알아서 다시 집어 올렸습니다.

휴머노이드 분야에서는 로봇 전문 기업 플렉션(Flexion)과 손을 잡았습니다. 수십 시간의 원격 조작 데이터만으로 실시간 작업 정책을 구축했으며, 플렉션 CEO 니키타 루딘(Nikita Rudin)에 따르면 기존 VLA 모델이 오작동을 일으키는 급격한 조명 변화 속에서도 안정적인 제어를 유지했습니다.

가장 인상적인 대목은 자율주행입니다. 연구진은 단 20시간의 시뮬레이션 주행 데이터만으로 오디세이-3을 복잡한 인도 도심에 투입해 실시간 폐루프 자율주행을 성공시켰습니다. 순수 시뮬레이션으로 훈련된 모델은 실제 주행 영상으로 훈련된 모델 대비 약 77% 수준의 안전 운전자 무개입 주행 거리를 기록했습니다.

이 밖에도 실내 드론 장애물 회피는 물론 게임 플레이까지 소화합니다. GTA V 플레이 영상으로 학습한 제어 정책이 추가 학습 없이도 '레드 데드 리뎀션 2'의 말 타기나 '슬리핑 독스'의 오토바이 운전으로 전이되는 놀라운 일반화 성능을 보였습니다.

왜 중요한가

우리는 오디세이-3이 로보틱스 분야의 고질적인 데이터 병목을 해결할 중요한 전환점을 마련했다고 봅니다.

지금까지의 로봇 AI는 고비용의 인간 원격 조작 데이터를 무작정 긁어모으는 데 집중했습니다. 하지만 물리 세계의 조작 데이터를 대규모로 모으는 것은 언어 데이터 수집보다 훨씬 어렵고 비용이 듭니다. 오디세이는 대규모 영상으로 물리 상식을 먼저 습득시킨 뒤 최소한의 데이터로 행동을 연결하는 더 영리한 해법을 입증했습니다.

이 방식이 본격화되면 중소 로봇 스타트업이나 연구팀의 진입 장벽이 획기적으로 낮아집니다. 맞춤형 하드웨어를 만들더라도 수천 시간의 시연 데이터를 모을 필요 없이, 완성도 높은 범용 세계 모델에 자체 디코더만 붙여 단 며칠 만에 제어 시스템을 구축할 수 있게 됩니다.

물론 한계도 명확합니다. 시각적 인과 관계를 이해하는 것과 밀리초 단위의 초정밀 산업용 제어, 극한 상황에서의 안전성 보장은 차원이 다른 문제입니다. 과연 복잡한 산업 현장이나 고속 주행에서도 안전을 완벽히 보장할 수 있을지는 더 지켜봐야 합니다.

그럼에도 파편화되어 있던 하드웨어 제어 모델을 단일 범용 모델로 통합하려는 이번 시도는, 구체화된 AI(Embodied AI)가 드디어 자신만의 GPT 모멘트를 맞이하고 있음을 보여줍니다.