엔비디아, 자율주행·로봇 개발 위한 '옴니버스 센서 RTX' 얼리 액세스 공개

비가 쏟아지는 야간에 갑자기 도로로 튀어나오는 보행자나 산업용 로봇의 용접 작업 구역에 들어선 작업자의 데이터를 모으는 일은 현실에서 매우 위험하고 천문학적인 비용이 듭니다.

이러한 코너 케이스 부족 문제를 해결하기 위해 엔비디아가 센서 자체를 가상 세계에서 물리적으로 복제하는 카드를 꺼냈습니다.

엔비디아는 1월 7일, 물리적으로 정확한 센서 시뮬레이션을 지원하는 Omniverse Sensor RTX API의 얼리 액세스를 일부 개발자에게 제공한다고 발표했습니다. 자율주행차와 지능형 로봇에 필수적인 카메라, 라이다(LiDAR), 레이더 데이터를 대규모로 생성해 AI 파운데이션 모델의 훈련과 검증을 돕는 기술입니다.

센서 알고리즘까지 속이는 물리 시뮬레이션

자율주행과 로봇에 적용되는 생성형 AI 모델은 막대한 양의 데이터를 요구합니다. 하지만 치명적인 위험을 수반하는 희귀 시나리오 데이터를 현실에서 직접 수집하는 것은 한계가 뚜렷했습니다.

Sensor RTX는 단순한 시각 그래픽 렌더링에 그치지 않고, 빛의 반사와 전파의 물리적 거동까지 정밀하게 계산합니다. 즉 사람의 눈뿐만 아니라 실제 차량과 로봇에 탑재된 센서 알고리즘까지 완벽하게 인식할 수 있는 데이터를 만들어냅니다.

산업 현장을 위한 청사진인 Mega 블루프린트는 엔비디아의 가속 컴퓨팅, 아이작(Isaac) 로보틱스 플랫폼, 옴니버스를 하나로 엮었습니다. 글로벌 공급망 기업 키온 그룹(KION Group)과 액센츄어는 이를 활용해 지게차, 스마트 카메라, 디지털 휴먼이 뒤섞인 가상 공장을 만들고, 실제 라인을 깔기 전에 AI 로봇 두뇌의 안전성을 가상 환경에서 먼저 테스트하고 있습니다.

도로 주행 전, 가상 공간에서 수만 번 충돌해보기

자율주행 업계의 적용 속도는 더 빠릅니다. 자율주행 검증 툴킷 기업인 포어텔릭스(Foretellix)는 자사 Foretify 플랫폼에 옴니버스 센서 API를 통합해 대규모 센서 시뮬레이션을 구현했습니다. 여기에 엔비디아의 신규 월드 모델 플랫폼인 코스모스(Cosmos)까지 결합해 한층 다채로운 시나리오를 검증할 계획입니다.

미국에서 대규모 레벨 4 자율주행 차량을 운영 중인 뉴로(Nuro) 역시 차량을 도로에 투입하기 전 안전성을 입증하는 용도로 이 시스템을 쓰고 있습니다. 한편 비영리 연구기관 마이터(MITRE)와 미시간 대학교의 자율주행 시험장 엠시티(Mcity)는 규제 평가를 위해 32에이커 규모의 시험장을 디지털 트윈으로 복제하는 작업을 진행 중입니다.

왜 중요한가

우리는 엔비디아의 이번 행보가 피지컬 AI 시장의 핵심 병목을 정확히 짚었다고 봅니다. 이제 로봇과 자율주행 개발의 성패는 모델의 크기보다 '위험하고 수집하기 힘든 코너 케이스 데이터를 얼마나 확보하느냐'에 달려 있기 때문입니다.

자율주행과 로봇 제조사 입장에서는 실제 도로 주행과 현장 필드 테스트에 쏟아붓던 비용을 획기적으로 아낄 수 있습니다. 센서 데이터를 물리적 수준에서 그대로 합성해 낼 수 있다면, 몇 달씩 걸리던 예외 상황 검증을 시뮬레이터 안에서 단 며칠 만에 수만 번 돌려볼 수 있습니다.

업계 관점에서 보면 엔비디아의 락인 효과는 한층 견고해졌습니다. 이제 기업들은 학습용 GPU뿐 아니라, 학습에 필요한 데이터를 만들고 안전 규제를 통과하기 위해서도 옴니버스 생태계에 머물러야 합니다. 엠시티 같은 검증 및 규제 기관까지 이 청사진을 채택하기 시작했다는 점은 시사하는 바가 큽니다.

다만 가상 세계와 물리적 현실 사이의 괴리인 '심투리얼(Sim-to-Real)' 간극을 완벽히 메울 수 있을지는 여전히 지켜볼 필요가 있습니다. 현재는 일부 파트너 중심의 얼리 액세스 단계인 만큼, 일반 개발팀이 실제로 도입해 가치를 체감하기까지는 시간이 더 걸릴 것으로 보입니다.