알리바바, 패션카멜레온 공개: 영상 생성 중 23.8 FPS로 실시간 의상 교체

온라인 쇼핑몰에서 옷을 고를 때 모델이 걷는 모습을 보면서 실시간으로 옷만 바꿔 입혀볼 수 있다면 어떨까요.

알리바바는 비디오가 생성되는 도중에 착용 의상을 즉각 교체할 수 있는 실시간 가상 피팅 프레임워크 '패션카멜레온(FashionChameleon)'을 공개했습니다. 모델 사진 한 장과 의류 아이템을 입력하면, 영상이 재생되는 동안 사용자가 실시간으로 옷을 갈아입혀도 인물의 동작 흐름과 외모가 끊김 없이 자연스럽게 유지됩니다.

단일 GPU에서 23.8 FPS로 달린다

기존 영상 생성 모델로 옷을 바꾸려면 긴 렌더링 시간을 기다려야 했고, 옷이 바뀌는 순간 화면이 튀거나 신체 비율이 망가지는 문제가 흔했습니다.

패션카멜레온은 WAN2.2 기반으로 H200 단일 GPU에서 720p 해상도 기준 23.8 FPS를 기록했습니다. 일반적인 영상 재생 속도와 맞먹는 수준으로, 연구진에 따르면 기존 베이스라인 모델보다 30배에서 최대 180배 빠릅니다.

상하의를 따로 바꾸거나 전신 세트를 통째로 교체해도 프레임 건너뜀 없이 매끄럽게 이어집니다. 장시간 비디오 외삽 환경에서도 인물의 정체성과 의상의 디테일을 안정적으로 유지합니다.

단일 의류 데이터로 이뤄낸 구조적 혁신

영상 속에서 자유자재로 옷을 갈아입히려면 원래 한 사람이 여러 옷을 갈아입는 방대한 비디오 데이터셋이 필요합니다. 하지만 현실적으로 그런 데이터는 구하기 어렵습니다.

알리바바 연구진은 단 한 벌의 옷만 입고 있는 일반적인 비디오 데이터만으로 모델을 학습시켰습니다. 교사 모델에 인컨텍스트 러닝을 적용해 기준 이미지와 의류 이미지 간의 불일치를 학습 과정에 주입함으로써, 모델 스스로 동작의 연속성을 보존하도록 유도했습니다.

속도와 화질 저하 문제를 잡기 위해 스트리밍 지식 증류와 그래디언트 재가중 DMD 기법을 적용했으며, 실시간 의상 변경 순간에는 별도 파인튜닝이 필요 없는 KV 캐시 재스케줄링 기술을 썼습니다. 현재 프로젝트 페이지에 깃허브 버튼이 마련되었으나, 코드와 가중치 파일은 순차적으로 배포될 예정입니다.

왜 중요한가

우리는 패션카멜레온이 생성형 비디오가 '오프라인 렌더링'을 벗어나 '실시간 인터랙티브 환경'으로 진입하는 중요한 이정표라고 봅니다.

패션 커머스와 라이브 쇼핑 분야에 가져올 파급력은 즉각적입니다. 소비자가 클릭하는 즉시 가상 모델이 걸어가며 새 옷을 입어 보여주는 환경이 구현된다면, 기존의 정적 피팅 사진이나 긴 사전 렌더링 영상과는 비교할 수 없는 쇼핑 경험을 줄 수 있습니다. 패션 브랜드 입장에서도 룩북 촬영이나 모델 섭외 비용을 대폭 줄일 수 있습니다.

희귀한 다중 의류 데이터를 수집하는 대신 추론 캐시 조작과 증류라는 영리한 엔지니어링으로 병목을 해결한 점도 돋보입니다. 비록 23.8 FPS 성능을 내기 위해 H200 같은 고가 엔터프라이즈 하드웨어가 요구된다는 한계는 있지만, 비디오 AI가 사용자 명령에 지연 없이 반응하는 인터랙티브 도구로 진화하고 있음을 명확히 보여줍니다.