미스트랄 AI, 단일 RGB 카메라로 자율주행하는 'Robostral Navigate' 공개

낯선 사무실에서 로봇에게 특정 물건을 찾아오라고 시키려면, 지금까지는 머리 위에 비싼 라이다(LiDAR)를 얹거나 사방에 뎁스 카메라를 주렁주렁 달아야 했습니다. 하지만 Mistral AI는 이 값비싼 센서들을 전부 떼어내고 평범한 카메라 한 대로 해결하겠다고 나섰습니다.

Mistral AI는 임베디드 내비게이션 모델인 Robostral Navigate를 공개했습니다. 80억 파라미터(8B) 크기의 이 모델은 단 한 대의 일반 RGB 카메라 영상과 자연어 명령어만으로 한 번도 가본 적 없는 복잡한 공간을 스스로 돌아다닙니다.

미학습 환경을 대상으로 명령 수행 능력을 측정하는 R2R-CE(Room-to-Room in Continuous Environments) 벤치마크에서 이 모델은 76.6%의 성공률을 기록했습니다. 기존 최고 단일 카메라 모델보다 9.7%포인트 높을 뿐만 아니라, 뎁스 센서나 다중 카메라를 주렁주렁 단 기존 1위 시스템마저 4.5%포인트 앞선 수치입니다.

미터 단위 계산 대신 목표를 직접 가리킨다

기존의 내비게이션 모델들은 물리적 거리와 절대 좌표를 세밀하게 계산하는 방식을 주로 썼습니다. 하지만 이런 방식은 카메라 렌즈의 화각이 바뀌거나 로봇의 차체 높이가 달라지면 길을 잃기 십상입니다.

Mistral은 포인팅(pointing)이라는 방식을 택했습니다. 로봇이 지금 바라보는 화면 안에서 이동해야 할 목표 지점의 픽셀 좌표와 도착 시 바라볼 방향을 직접 짚어내는 방식입니다. 목표가 시야 밖에 있을 때만 로봇 기준 좌표계로 전환해 앞으로 2미터 이동 후 좌회전 같은 보조 명령을 내립니다.

시각적 랜드마크를 기준으로 경로를 잡기 때문에 카메라 사양 차이에 영향을 덜 받으며, 바퀴형 로봇뿐 아니라 사족보행 로봇이나 드론 등 다양한 기체에 유연하게 적용할 수 있습니다.

몇 달 걸리던 학습을 며칠 만에 끝낸 비결

현실 세계에서 로봇 주행 데이터를 모으는 일은 막대한 비용과 안전 문제가 따릅니다. Mistral은 35만 개 장면에서 약 240만 개의 이동 경로를 100% 시뮬레이션으로 생성해 학습에 활용했습니다.

이 방대한 궤적 데이터를 학습하기 위해 LLM 개발 노하우인 프리픽스 캐싱(prefix-caching)과 트리 기반 어텐션 마스킹 기술을 끌어왔습니다. 전체 에피소드를 하나의 시퀀스로 압축해 학습 토큰 수를 22배 줄였고, 그 결과 몇 달씩 걸리던 훈련 기간을 단 며칠로 단축했습니다.

여기에 CISPO라는 온라인 강화학습 알고리즘을 얹어 시뮬레이션 환경에서 시행착오를 겪으며 스스로 경로를 복구하는 법을 배우게 했습니다. 이 강화학습 과정만으로 작업 성공률이 3.2%포인트 추가로 상승했습니다.

왜 중요한가

우리는 Mistral의 이번 행보가 상용 로봇 도입의 최대 걸림돌이었던 센서 비용 문제를 정면으로 돌파했다고 봅니다.

그동안 실내 배송이나 순찰 로봇을 개발할 때 라이다나 고성능 센서는 원가를 높이고 유지보수를 까다롭게 만드는 주원인이었습니다. Robostral Navigate는 저렴한 RGB 카메라 한 대와 정교한 시뮬레이션 학습만으로도 고가의 센서 조합을 뛰어넘을 수 있음을 입증했습니다. 자율주행 순찰 로봇이나 물류 자동화를 고민하는 개발팀이라면, 값비싼 센서에 의존하던 하드웨어 설계를 다시 검토해 볼 만한 계기입니다.

산업 전체로 봐도 시뮬레이션 데이터와 LLM 학습 기술이 결합했을 때 로봇 제어의 성능 상한선이 어디까지 올라갈 수 있는지 명확히 보여주었습니다. 다만 완전한 어둠이나 유리벽으로 가득 찬 공간처럼 시각 정보가 왜곡되는 극단적인 환경에서도 단일 카메라가 라이다 수준의 물리적 안전성을 유지할 수 있을지는 현장 검증을 지켜볼 필요가 있습니다.