엔비디아, 동영상을 탐험 가능한 3D 환경으로 바꾸는 'Lyra 2.0' 오픈소스 공개

스마트폰으로 실내를 걸어 다니며 찍은 동영상이 단 몇 분 만에 자유롭게 탐험할 수 있는 3D 가상 공간으로 바뀝니다. 다른 방을 한참 둘러본 뒤 다시 돌아와도 탁자 위의 컵은 왜곡되거나 사라지지 않고 그 자리에 그대로 남아 있습니다.

엔비디아가 이 같은 일관성을 구현한 3D 세계 생성 프레임워크 'Lyra 2.0'을 오픈소스로 공개했습니다. 단일 동영상을 고품질의 3D 가우시안 스플래팅 환경으로 복원해 내는 도구입니다.

AI의 '공간 건망증'과 오차 누적을 잡다

동영상 기반 3D 생성 분야에서 가장 큰 걸림돌은 카메라 이동 거리가 길어질 때 발생하는 일관성 붕괴였습니다.

기존 비디오 모델은 화면 밖으로 벗어난 공간을 금세 잊어버리는 '공간 망각' 문제를 겪었습니다. 거실을 지나 방으로 들어갔다가 다시 거실로 나오면, 모델이 원래 구조를 기억하지 못하고 엉뚱한 가구를 새로 그려내는 식입니다.

여기에 프레임이 누적되면서 작은 생성 오차가 점차 커져 공간 전체의 기하학적 구조가 뒤틀리는 시간적 왜곡(drift)도 고질적인 한계였습니다.

Lyra 2.0은 기하학 정보와 겉모습 생성을 분리해 이 문제를 풀었습니다. 프레임별 3D 기하 정보를 라우팅 색인으로만 활용해 과거 시점의 데이터를 정확히 다시 불러오도록 설계했습니다.

오차 누적을 막기 위해 자체적으로 왜곡된 결과물을 학습에 노출시켜 모델이 스스로 오류를 바로잡도록 훈련했습니다. 이렇게 얻은 일관된 궤적을 3D 가우시안 스플래팅으로 변환해 끊김 없이 렌더링되는 3D 공간을 완성합니다.

단순 영상에서 로봇을 위한 가상 훈련장으로

이 기술이 단순한 시각 효과에 그치지 않는 이유는 엔비디아의 로봇 생태계와 직결되기 때문입니다.

Lyra 2.0에서 생성된 3D 환경은 엔비디아의 로봇 시뮬레이션 플랫폼인 아이작 심(Isaac Sim)으로 바로 내보낼 수 있습니다. 자율주행 로봇이나 로봇 팔이 활동할 수 있는 가상 훈련장이 곧바로 마련되는 셈입니다.

그동안 정교한 시뮬레이션 환경을 만들려면 3D 아티스트가 직접 모델링을 하거나 복잡한 다중 카메라 스캔 장비를 써야 했습니다.

이제는 현장을 스마트폰으로 가볍게 촬영하기만 해도 로봇의 내비게이션 훈련에 쓸 수 있는 가상 환경이 뚝딱 만들어집니다.

모델의 전체 용량이 131MB에 불과하다는 점도 인상적입니다. 초경량 구조 덕분에 고가의 엔터프라이즈 장비 없이도 일반 소비자용 그래픽 카드에서 원활하게 구동할 수 있습니다.

왜 중요한가

우리는 Lyra 2.0이 동영상 생성 기술을 피지컬 AI(물리 인공지능) 훈련 데이터의 공급 파이프라인으로 전환시켰다는 점에서 의미가 크다고 봅니다.

로봇 연구자와 개발자에게 가장 큰 병목은 고품질의 3D 시뮬레이션 환경을 확보하는 비용이었습니다. 131MB짜리 오픈소스 모델로 일상 영상을 아이작 심용 훈련 환경으로 바꿀 수 있다면 개발 속도는 비약적으로 빨라집니다.

산업 측면에서도 엔비디아다운 영리한 행보입니다. 경쟁사들이 영상의 해상도나 재생 길이에 매달릴 때, 엔비디아는 영상을 3D 월드를 구성하기 위한 중간 매개체로 정의하고 자사의 로보틱스 플랫폼으로 끌어들이고 있습니다.

물론 한계는 있습니다. 현재 생성되는 공간은 정적인 시각 및 기하 구조 위주라 물체를 집어 올리거나 미는 식의 복잡한 물리 상호작용까지는 지원하지 않습니다. 그럼에도 시점 이동 시의 일관성을 가볍게 해결해 냈다는 점에서 실용적인 도구로서의 가치는 충분합니다.