사진 한 장으로 옷 갈아입고 움직인다…가상 피팅 프레임워크 'Vanast' 공개

온라인 쇼핑몰에서 옷을 고를 때 모델 착용 영상을 가상으로 만들 수 있다면 유용하지만, 정지된 인물 사진에 새 옷을 입히고 자연스럽게 움직이게 만드는 작업은 AI 기술로도 꽤 까다로운 영역이었습니다.

연구진은 새로운 가상 피팅 프레임워크 Vanast를 공개했습니다. 인물 사진 한 장과 의류 이미지, 그리고 뼈대 움직임을 담은 골격 자세 동영상만 입력하면 새 옷을 입고 움직이는 인물 애니메이션을 한 번에 생성해 줍니다.

왜곡을 부르던 2단계 파이프라인을 하나로 통합

기존의 가상 피팅 애니메이션 방식은 대부분 2단계로 나뉘어 있었습니다. 정지 이미지 기반 피팅 모델로 옷을 먼저 갈아입힌 뒤, 별도의 모션 생성 모델을 연결해 영상을 합성하는 식이었습니다.

이러한 방식은 단계가 넘어갈 때마다 오류가 누적되어 얼굴이 딴사람처럼 변하거나, 옷 주름이 부자연스럽게 찢어지고, 회전 동작에서 앞뒤 모습이 일치하지 않는 문제가 자주 발생했습니다.

Vanast는 이 과정을 단일 단계로 완전히 통합했습니다. 연구진은 얼굴과 신체 특징을 유지한 채 다양한 의상을 매칭한 대규모 트리플렛 지도학습 데이터를 구축해 모델을 훈련시켰습니다.

또한 비디오 Diffusion Transformer를 위해 듀얼 모듈(Dual Module) 구조를 도입했습니다. 이를 통해 기존 생성 품질을 유지하면서 의류 세부 묘사와 포즈 추종성, 인물 일관성을 크게 높였고, 의상 간 보간 합성까지 지원합니다.

상·하의부터 원피스까지 안정적이지만, 코드는 대기 중

시연 사례를 살펴보면 남성 셔츠나 바지 교체는 물론, 여성 스커트와 원피스 같은 긴 의상까지 얼굴 윤곽과 체형의 왜곡 없이 자연스럽게 재현해 냅니다.

움직임에 따라 옷감이 당겨지거나 펄럭이는 흐름도 골격 궤적에 맞춰 비교적 매끄럽게 따라붙습니다.

다만 현재 시점에서는 논문만 발표된 상태이며, 공식 페이지에는 코드가 곧 공개될 예정이라고 안내되어 있어 일반 개발자나 창작자가 당장 내려받아 구동해 볼 수는 없습니다.

왜 중요한가

Vanast가 예고대로 오픈소스로 풀린다면 패션 커머스 산업의 영상 제작 파이프라인에 상당한 변화를 불러올 수 있습니다. 신제품이 나올 때마다 피팅 모델과 스튜디오를 섭외해 촬영하는 대신, 단품 의류 사진과 기본 템플릿 영상만으로 룩북 숏폼을 저렴하게 양산할 수 있기 때문입니다.

기술적으로도 정지 이미지 피팅과 동작 생성을 따로 꿰매던 레거시 파이프라인에서 벗어나, 비디오 잠재 공간 안에서 의상 전이와 동작을 함께 최적화하는 단일 프레임워크가 훨씬 안정적임을 입증했습니다.

우리는 이 같은 엔드투엔드 통합 설계가 단계별 오차 누적을 줄이는 영리한 해법이라고 봅니다. 다만 논문의 시연 환경과 복잡한 야외 조명, 거친 동작이 섞인 실제 현장 사이에는 간극이 존재하기 마련입니다. 향후 코드가 정식 공개된 뒤 까다로운 실전 데이터에서도 동일한 일관성을 보여줄 수 있는지가 상용화의 핵심 잣대가 될 것입니다.