도메인 셔틀: 다양한 참조 이미지의 일관성을 유지하는 오픈소스 비디오 생성기

생성형 AI로 영상을 만들어 본 사람이라면 컷이 바뀔 때마다 주인공 얼굴이 달라지거나, 2D 캐릭터를 실사 장면에 섞으려다 그래픽이 뭉개지는 답답함을 겪어봤을 것입니다.

홍콩과기대 연구팀은 이러한 캐릭터 붕괴 문제를 해결한 오픈소스 비디오 생성 도구 Domain Shuttle을 공개했습니다. 참조 이미지를 입력하면 인물의 고유한 외형을 유지하면서도 다양한 스타일로 비디오를 생성해 줍니다.

실사, 2D 애니메이션, 3D 홀로그램이 한 화면에서 만날 때

기존의 이미지 기반 비디오 생성 모델들은 대체로 참조 이미지와 동일한 화풍 내에서만 제대로 작동했습니다. 실사 사진을 넣으면 실사 비디오만 만들어낼 수 있었고, 프롬프트로 화풍을 바꾸려 하면 캐릭터의 고유 특징까지 함께 무너지기 일쑤였습니다.

Domain Shuttle은 스타일 간의 경계를 넘나드는 데 초점을 맞췄습니다. 공개된 시연에서는 실사 인물, 2D 애니메이션 캐릭터, 3D 모델 이미지를 한 번에 입력받아 한 영상 안에서 서로 자연스럽게 상호작용하도록 합성해 냅니다.

세밀한 묘사 능력도 돋보입니다. 실사 남성이 벽에 그려진 2D 그래피티 소녀를 바라보는 장면이나, 실사 인물과 3D 홀로그램 캐릭터가 마주 보며 대화하는 장면을 매끄럽게 구현합니다. 심지어 여성이 들고 있는 머그잔 표면에 2D 캐릭터를 인쇄된 그림처럼 자연스럽게 얹어 움직이는 고난도 작업도 처리했습니다.

이를 위해 연구팀은 캐릭터의 고유 정체성과 화풍 정보를 분리해 학습하는 Domain-MoT 아키텍처와 독립된 RoPE 공간 구조를 적용했습니다. 캐릭터 본래의 생김새는 보존하면서도 텍스트 명령에 따라 스타일만 자유롭게 변형할 수 있도록 만든 셈입니다.

다만 로컬 실행 요구 사양은 상당히 높습니다. Wan 2.2를 기반 모델로 삼고 있으며, 모델 용량만 약 35GB에 달해 고사양 전문 GPU가 필요합니다. 관련 코드와 실행 가이드는 깃허브에 모두 공개되어 있습니다.

왜 중요한가

Domain Shuttle은 영상 AI의 고질적인 난제였던 다중 캐릭터 일관성과 스타일 편집 자유도를 한 단계 끌어올렸다는 점에서 의미가 큽니다.

UGC 콘텐츠 제작자나 숏폼 광고, 인디 애니메이션 창작자에게 매우 유용한 도구입니다. 가상 IP 캐릭터를 실제 촬영 영상에 합성하거나 다양한 화풍의 광고 컷을 만들려면 3D 모델링과 정교한 후반 작업이 필수적이었지만, 이제는 텍스트 프롬프트만으로 일관된 장면을 빠르게 뽑아낼 수 있습니다.

산업적으로는 Wan 2.2라는 강력한 오픈소스 기반 모델 위에서 아키텍처 개선만으로 독보적인 제어 능력을 구현해 냈다는 점이 주목할 만합니다. 거대 자본 없이도 오픈 생태계의 결합을 통해 상용 툴을 위협하는 완성도를 낼 수 있음을 보여줬습니다.

35GB라는 무거운 용량 탓에 일반 이용자가 당장 가볍게 돌려보기는 어렵지만, 상업 영상 기획이나 프로토타입 제작 파이프라인에는 즉각적인 변화를 가져올 잠재력이 충분합니다.