3DreamBooth 공개: 1프레임 공간 최적화로 다중 시점 일관성 확보

AI로 특정 캐릭터나 물체가 등장하는 영상을 만들 때 가장 흔히 겪는 문제는 시점 왜곡입니다. 정면은 멀쩡하게 나오다가도 카메라가 측면이나 등 뒤로 회전하는 순간 얼굴 형태가 무너지거나 옷 디테일이 완전히 다른 옷으로 바뀌곤 합니다.

이유는 간단합니다. 기존 영상 생성 모델들이 대상을 3D 입체물이 아니라 평면 2D 이미지로 취급해 왔기 때문입니다. 보이지 않는 뒷면을 채울 공간 정보가 없으니, 모델이 그럴듯한 엉터리 디테일을 임의로 지어내는 것입니다.

연구팀은 대상을 진짜 3D 개체로 인식해 처리하는 영상 맞춤화 프레임워크 3DreamBooth와 시각 조건 모듈 3Dapter를 발표했습니다. 새로운 시점에서도 왜곡 없이 진짜 3D 일관성을 유지하도록 만드는 기술입니다.

공간과 움직임을 쪼개는 1프레임 최적화

모델에 3D 공간 감각을 주려면 본래 다양한 각도에서 찍은 영상 데이터가 대량으로 필요합니다. 하지만 다중 시점 영상 데이터는 구하기가 매우 어렵고, 몇 안 되는 영상으로 모델을 미세조정하면 시간적 과적합이 발생해 동작이 부자연스러워집니다.

3DreamBooth는 공간 기하 구조와 시간적 움직임을 완전히 분리하는 영리한 해법을 택했습니다. 바로 '1프레임 최적화' 패러다임입니다.

모델 업데이트를 공간 표현에만 엄격하게 한정함으로써, 방대한 비디오 학습 없이도 견고한 3D 기하학적 사전 지식을 모델에 주입합니다.

즉, 카메라가 어떻게 돌더라도 모델은 이미 물체의 3차원 형태를 파악하고 있으므로, 가려진 각도를 생성할 때 엉뚱한 상상력을 발휘하지 않고 정확한 형태를 유지합니다.

시점별 단서를 찾아주는 3Dapter 라우터

형태를 잡았다고 끝이 아닙니다. 실제 영상으로 쓸 수 있으려면 정교한 표면 질감과 빠른 수렴 속도가 뒷받침되어야 합니다. 이 역할을 맡는 것이 3Dapter 모듈입니다.

3Dapter는 단일 시점 사전 학습을 거친 뒤, 비대칭 조건화 전략을 통해 메인 생성 파이프라인과 다중 시점 공동 최적화를 진행합니다.

일종의 동적 선택형 라우터 역할을 하는 셈입니다. 최소한의 참조 이미지 세트에서 현재 생성해야 하는 시점에 딱 맞는 기하학적 단서만을 선별해 메인 모델로 전달합니다.

이 덕분에 최소한의 참조 데이터만으로도 미세한 질감을 살려내며 안정적인 3D 일관성을 완성할 수 있습니다.

왜 중요한가

3DreamBooth는 몰입형 VR 및 AR, 버추얼 프로덕션, 차세대 이커머스를 정조준하고 있습니다. 제품 사진 몇 장만으로 흔들림 없는 360도 회전 홍보 영상을 뽑아낼 수 있다면, 브랜드의 비디오 제작 단가는 획기적으로 낮아집니다.

업계 관점에서도 이번 연구는 영상 생성 AI가 '2D 픽셀 흉내 내기'에서 '3D 공간 구조 이해'로 진화하는 신호탄입니다. 다중 시점 영상 데이터 부족이라는 업계의 고질적인 한계를, 1프레임 공간 최적화라는 분리 전략으로 영리하게 우회했습니다.

우리는 이 접근 방식이 매우 실용적인 타협점을 찾았다고 봅니다. 다만 현재로서는 논문 기반의 연구 프레임워크 단계이므로 일반 사용자가 당장 손쉽게 다루기는 어렵습니다. 또한 복잡하게 일그러지는 비강체 움직임이나 극단적인 조명 변화 속에서도 이 일관성이 유지될지는 실제 상용화 환경에서 더 검증되어야 합니다.