2D 이미지 속 물체와 카메라 시점을 자유자재로 움직이는 공간 편집 모델 'SpatialEdit' 오픈소스 공개

AI로 이미지를 편집해 본 사람이라면 누구나 겪어본 답답함이 있습니다. "강아지를 오른쪽으로 살짝 옮겨줘"라거나 "카메라 각도를 약간 내려서 내려다보듯 찍어줘"라고 요구하면, 대다수 모델은 이미지를 완전히 새로 그려버립니다. 결국 강아지의 생김새가 바뀌고 배경 원근감도 엉망이 되기 일쑤입니다.

이러한 기하학적 이미지 변형 문제를 해결하기 위해 설계된 공간 편집 모델 SpatialEdit이 완전 오픈소스로 공개됐습니다. 2D 사진 속 물체와 카메라의 구도를 마치 3D 뷰포트를 다루듯 정밀하게 조작할 수 있는 도구입니다.

2D 확산 모델에 3D 기하학 좌표계를 이식하다

정밀한 공간 조작이 지금까지 어려웠던 근본적인 이유는 정확한 좌표 라벨이 붙은 데이터가 턱없이 부족했기 때문입니다. 연구진은 이 데이터 병목을 해결하기 위해 3D 렌더링 툴인 Blender 파이프라인을 구축하고, 50만 건 규모의 합성 데이터셋 'SpatialEdit-500k'를 직접 제작했습니다.

다양한 배경과 체계적인 카메라 궤적을 렌더링하여, 물체 회전과 카메라 시점 변경에 대한 정확한 기하학적 정답(Ground-truth)을 확보한 것입니다.

이 데이터로 학습된 모델이 바로 'SpatialEdit-16B'입니다. 실제 인터페이스를 통해 화면 내 특정 물체의 위치와 각도를 미세 조정할 수 있으며, 가상 카메라의 요(yaw), 피치(pitch), 줌(zoom)까지 수치화하여 제어할 수 있습니다.

함께 도입된 평가 기준인 SpatialEdit-Bench에서 이 모델은 nano banana와 cradedit 같은 기존 방식을 크게 앞섰습니다. 이전에도 Qwen Image Edit 기반의 LoRA 같은 시도가 있었지만, 기하학적 일관성을 유지하며 물체와 카메라를 배치하는 능력에서 SpatialEdit이 가장 뛰어난 안정성을 보여줬다는 평가입니다.

가중치부터 학습 데이터까지 전면 공개, 하지만 높은 하드웨어 장벽

이번 프로젝트의 가장 인상적인 부분은 공개 범위의 완성도입니다. 연구진은 모델 추론 코드뿐만 아니라 50만 건의 훈련 데이터셋과 가중치 전체를 아무런 제약 없이 공개했습니다.

제공된 가이드를 따르면 로컬 컴퓨터 환경에서 직접 모델을 내려받아 구동할 수 있습니다.

다만 로컬 실행 장벽은 제법 높습니다. 공개된 모델 가중치의 용량만 약 32GB에 달하기 때문입니다.

이 모델을 원활하게 실행하려면 넉넉한 VRAM을 갖춘 고성능 GPU가 반드시 뒷받침되어야 합니다.

왜 중요한가

우리는 SpatialEdit의 접근법이 영리하다고 봅니다. 모호한 자연어 프롬프트로 공간 개념을 어설프게 유추시키는 대신, Blender 합성 데이터를 통해 확산 모델에 명확한 물리적 좌표 기준을 부여했기 때문입니다.

전자상거래 제품 연출이나 콘셉트 아트 분야의 창작자에게 이 기능은 실질적인 작업 효율을 가져다줍니다. 구도나 각도를 살짝 바꾸기 위해 3D 모델링을 다시 렌더링하거나 수동 누끼 작업을 반복할 필요 없이, 2D 이미지 상태에서 정밀한 매개변수 제어가 가능해집니다.

이미지 생성 AI 생태계 전반으로 봐도, 단순한 '랜덤 뽑기'를 넘어 전문가용 편집 도구로서의 '파라미터 기반 제어'로 진화하는 신호탄입니다.

약 32GB라는 방대한 크기 탓에 일반 사용자가 쉽게 접근하기 어렵고, 3D 합성 데이터로 학습된 특성이 극도로 복잡한 실제 환경 사진에서 얼마나 완벽히 적응할지는 더 지켜봐야 합니다. 그럼에도 훈련 데이터와 핵심 가중치를 모두 투명하게 공개했다는 점에서 오픈소스 생태계에 매우 묵직한 이정표를 남겼습니다.