복수 인물·사물 일관성 유지하는 비디오 생성 모델 'Homie' 오픈소스 공개

Homie는 복수 인물과 사물 참조 이미지를 기반으로 일관된 비디오를 생성하는 오픈소스 비디오 생성 프레임워크입니다. 특정 인물이나 사물 이미지를 입력하면 세부 묘사가 망가지지 않는 자연스러운 영상을 만들어냅니다.

어떤 기능이 가능한가

Homie는 여러 개의 서로 다른 대상을 동시에 처리할 수 있으며 실사 인물 사진은 물론 3D 애니메이션 캐릭터까지 폭넓게 지원합니다.

정교한 무늬가 들어간 기모노나 복잡한 외형의 장난감처럼 기존 모델에서 왜곡되기 쉬웠던 사물도 프레임 전반에 걸쳐 일관성을 안정적으로 유지합니다.

인플루언서 마케팅 콘텐츠 제작에도 유용합니다. 인물 사진 한 장과 홍보할 상품 이미지만 입력하면 실제 사용자가 촬영한 듯한 UGC 스타일의 홍보 비디오를 대량으로 생성할 수 있습니다.

가장 돋보이는 부분은 동일 대상에 대한 다각도 참조 이미지 입력 기능입니다. 사물의 여러 각도 사진을 함께 제공하면 카메라 앵글이 바뀌거나 회전할 때 발생하는 외형 왜곡을 크게 줄여줍니다.

여기에 OCR 위치 맵 입력도 지원합니다. 텍스트나 로고가 사물의 어느 위치에 들어가야 하는지 지정할 수 있어 제품 패키지의 글자 깨짐이나 위치 오류 문제를 효과적으로 해결합니다.

어떻게 동작하는가

기존의 개인화 비디오 생성 방식은 복수 대상 간의 상호작용과 각 피사체의 디테일을 동시에 보존하는 데 어려움을 겪었으며 로고 같은 추상적 그래픽을 배치할 때 오류가 잦았습니다.

멀티모달 언어 모델(MLLM)의 특징을 기존 텍스트 임베딩 공간에 억지로 맞추려다 표현력이 제한되거나 텍스트 인코더를 아예 대체해 막대한 재정렬 비용을 치러야 했던 한계도 있었습니다.

Homie는 텍스트 인코더를 그대로 유지해 프롬프트 제어력을 살리는 동시에 MLLM은 참조 이미지 간의 관계 정보를 추출하는 데만 집중하도록 설계했습니다.

셀프 어텐션 내에 글로벌 멀티모달 가이던스를 도입해 MLLM의 의미적 특징과 VAE 토큰을 정렬하고 모달리티-참조 임베딩을 통해 다양한 입력을 구분합니다.

VACE, Phantom 등 기존 참조 기반 비디오 모델과 비교했을 때 Homie는 복잡한 장면에서도 오류 발생률이 낮고 시각적 일관성이 크게 앞서는 결과를 보였습니다.

현재 코드와 사전 학습된 모델 가중치가 모두 공개되어 있어 직접 환경을 구축해 테스트해 볼 수 있습니다.

왜 중요한가

상업용 비디오 제작에서 가장 치명적이었던 제품 외형 붕괴와 브랜드 로고 왜곡 문제를 다각도 입력 및 OCR 지정이라는 실용적인 장치로 풀어냈습니다. 가상 모델을 활용한 이커머스 마케팅이나 숏폼 광고를 대량 생산해야 하는 팀에게 직접적인 해결책을 제공합니다.

텍스트 인코더를 무리하게 교체하지 않고 MLLM의 관계 추론 능력만 선별적으로 결합한 아키텍처 역시 매우 영리한 접근입니다. 최적의 일관성을 얻으려면 다각도 이미지나 위치 맵을 미리 준비해야 한다는 조건이 따르지만 일관성 제어가 절실한 비디오 제작자라면 빠르게 테스트해 볼 가치가 충분합니다.