사진 한 장으로 걸어 다니는 3D 세계 생성…'AnchorWeave' 오픈소스 공개

게임에서 뒤를 돌아봤다가 다시 앞을 보면 방금 전 사물이 그대로 남아 있어야 합니다. 하지만 지금까지의 영상 생성 AI는 시선이 벗어나는 순간 이전 장면을 까맣게 잊고 새로운 배경을 덧칠하기 일쑤였습니다.

오픈소스로 공개된 'AnchorWeave'는 이러한 문제를 해결하는 인터랙티브 세계 영상 프레임워크입니다. 사진 단 한 장만 넣으면 키보드 조작에 맞춰 실제로 걸어 다닐 수 있는 3D 영상 공간을 만들어 냅니다.

거대한 3D 대신 잘게 쪼갠 기하학적 기억

카메라 움직임을 제어하는 기존 영상 생성 기술은 과거 프레임으로부터 전체 3D 장면을 한꺼번에 재구성하려 했습니다. 하지만 시점마다 카메라 위치와 깊이 측정값에 미세한 오차가 생기면서 노이즈가 쌓였고, 결국 영상 품질이 심각하게 망가지는 한계가 있었습니다.

AnchorWeave는 전체를 통째로 복원하는 대신 '국소 기하학적 메모리' 방식을 택했습니다. 장면을 작고 깨끗한 3D 조각으로 쪼개어 보관한 뒤, 이동 경로에 맞춰 필요한 메모리만 검색해 꺼내 쓰는 방식입니다.

이어 '다중 앵커 위빙 컨트롤러'가 시점 간의 어긋남을 조율하며 이 조각들을 영상 속에 자연스럽게 꿰맵니다. 덕분에 시선을 이리저리 돌려도 방금 지나친 공간의 물건들이 제자리를 유지합니다.

WASD 키로 탐색, 1회에 최대 81프레임 렌더링

사용법은 간단합니다. 시작 이미지 한 장을 지정한 뒤 게임을 하듯 키보드의 WASD 키나 방향키를 누르면 카메라가 해당 방향으로 이동하는 영상을 얻을 수 있습니다.

현재 버전은 한 번에 최대 81프레임을 생성해 수 초 분량의 장면을 만듭니다. 국소 기하학 앵커가 공간을 단단히 붙잡아 주기 때문에, 여러 번 반복 생성해 더 긴 보행 영상으로 이어 붙이는 것도 가능합니다.

1인칭 탐색뿐 아니라 3인칭 시점 입력도 지원합니다. 가령 캐릭터가 공간 속을 걸어가는 명령을 주더라도 배경과 캐릭터의 움직임이 어색하게 뒤틀리지 않습니다.

현재 깃허브에 로컬 실행 방법과 소스 코드가 공개되어 있으며 관련 논문도 확인할 수 있습니다. 첫 번째 모델은 오픈소스 영상 생성기인 CogVideoX를 기반으로 제작되었으며, 연구팀은 추후 더 강력한 기반 모델을 도입해 화질을 개선할 예정입니다.

왜 중요한가

세계 모델은 게임 엔진과 로봇 시뮬레이션의 미래로 꼽히지만, 일관성 없는 배경 생성 탓에 상용화 문턱을 넘지 못했습니다. 돌아볼 때마다 지형이 바뀌는 가상공간에서는 어떠한 상호작용도 불가능하기 때문입니다.

AnchorWeave의 강점은 현실적인 타협에 있습니다. 오류가 누적되기 쉬운 거대 3D 모델링을 무리하게 밀어붙이지 않고, 국소 메모리 검색과 영상 봉합이라는 똑똑한 엔지니어링으로 공간의 영속성을 챙겼습니다.

인디 게임 개발자나 3D 콘셉트 아티스트 입장에서는 3D 툴을 켜지 않고도 콘셉트 아트 한 장으로 실제 거닐 수 있는 프로토타입 공간을 뚝딱 뽑아낼 수 있습니다.

물론 한계도 명확합니다. CogVideoX를 기반으로 해 디테일이 아직 거칠고, 81프레임 단위로 영상을 이어붙여야 하는 번거로움이 있습니다. 그럼에도 값비싼 3D 파이프라인 없이 생성 영상에 확실한 공간 지속성을 부여할 수 있음을 입증했다는 점에서 주목할 가치가 충분합니다.