실제 도시 누비는 '서울 월드 모델' 공개…거리뷰 RAG로 수 킬로미터 생성

기존 비디오 세계 모델은 대부분 인공지능의 순수한 상상력에 기대어 가상 공간을 그려왔습니다. 하지만 카메라를 조금만 앞으로 이동시켜도 건물 윤곽이 뭉개지거나 물리 법칙이 깨지는 누적 오차 문제를 피하기 어려웠습니다.

공개된 서울 월드 모델(Seoul World Model, SWM)은 이 문제에 완전히 새로운 해법을 제시했습니다. 허구의 공간을 상상하게 만드는 대신, 실제 서울이라는 대도시 환경에 생성을 앵커링해 수 킬로미터에 이르는 장거리 주행 영상도 왜곡 없이 안정적으로 렌더링하도록 만든 것입니다.

거리뷰 이미지를 RAG 검색창고로 활용하다

SWM의 기본 골격은 대규모 언어모델에서 널리 쓰이는 검색 증강 생성(RAG)을 비디오로 옮겨온 구조입니다. 지리 좌표와 카메라 경로, 텍스트 프롬프트가 주어지면 지리 색인된 데이터베이스에서 근처 실제 거리뷰 사진을 검색해 생성 모델의 참조 프레임으로 삼습니다.

참조 이미지는 두 갈래로 나뉘어 모델에 주입됩니다. 깊이 정보를 바탕으로 목표 시점에 맞게 투영해 공간 배치를 알려주는 기하학적 참조와, 간판이나 외벽 디테일을 트랜스포머에 전달하는 의미론적 참조를 동시에 사용합니다.

문제는 거리뷰 데이터의 한계였습니다. 촬영 시점에 따라 지나가는 차량이나 보행자가 찍혀 있어, 이를 그대로 학습시키면 영상 속에 유령 같은 잔상이 생기기 십상이었습니다.

연구팀은 참조 이미지와 목표 영상을 서로 다른 시간에 촬영된 데이터로 짝지었습니다. 모델이 시시각각 변하는 차량을 무시하고 영구적인 건물 구조에만 집중하도록 강제한 것입니다. 또한 차량용 카메라의 화각 한계를 메우기 위해 CARLA 시뮬레이터로 보행로나 자유 시점을 담은 1만 편의 합성 영상을 제작해 학습에 보탰습니다.

앞길에 미리 깃발을 꽂는 가상 룩어헤드 싱크

영상을 길게 이어 붙이는 자기회귀 생성에서는 시간이 지날수록 오차가 눈덩이처럼 불어납니다. 기존 방식은 첫 프레임에 어텐션을 고정해 두었기 때문에 카메라가 몇백 미터만 전진해도 초기 참조점이 무용지물이 되곤 했습니다.

SWM은 이를 해결하기 위해 가상 룩어헤드 싱크(Virtual Lookahead Sink)를 도입했습니다. 영상을 생성해 나갈 때마다 이동 방향의 미래 위치에 있는 실제 거리뷰를 미리 검색해 전방 기준점으로 세워두는 방식입니다.

길을 걸어가며 앞쪽에 계속해서 깨끗한 실제 이정표를 꽂아두는 셈이어서, 모델이 경로를 이탈하지 않고 현실 지형에 단단히 발을 붙이게 만듭니다. 그 결과 서울과 부산, 앤아버 등 세 개 도시를 대상으로 한 실험에서 수백 미터에서 수 킬로미터에 이르는 경로를 매끄럽게 재현해냈습니다. 여기에 텍스트 프롬프트만 입력하면 실제 강남 빌딩 숲 사이에 고질라를 소환하거나 거대한 쓰나미를 덮치게 할 수도 있습니다.

왜 중요한가

우리는 SWM이 세계 모델의 개발 방향을 아주 실용적인 길로 돌려놓았다고 봅니다. 모든 공간 물리 법칙과 디테일을 거대 모델의 매개변수 안에 억지로 우겨넣는 대신, 이미 존재하는 방대한 거리뷰 인프라를 RAG 형태로 끌어다 쓰는 것이 훨씬 빠르고 정확하다는 사실을 증명했기 때문입니다.

자율주행과 로보틱스 연구진에게 이 기술은 즉각적인 가치를 제공할 수 있습니다. 3D 엔진으로 가상 도시를 처음부터 일일이 모델링하지 않고도, 실제 지형을 기반으로 다양한 돌발 상황이나 기상 변화를 입힌 고품질 시뮬레이션 환경을 손쉽게 대량 생산할 수 있습니다.

물론 아직 한계는 뚜렷합니다. 실외 도로 환경에 묶여 있어 건물 내부로 진입할 수는 없으며, 고화질 거리뷰 데이터가 촘촘하게 구축되지 않은 지역에서는 생성 품질이 떨어질 수밖에 없습니다.

그럼에도 불구하고 실제 도시 데이터를 앵커 삼아 수 킬로미터를 흐트러짐 없이 항법할 수 있게 만든 이 시도는, 진정한 지구 단위 디지털 트윈을 향해 내딛은 매우 영리하고 현실적인 한 걸음입니다.