바이트댄스, 커머스 영상 특화 생성 AI '옴니쇼' 공개…이미지·음성·포즈 동시 제어

이커머스 마케팅 영상을 만들 때 생성형 AI를 쓰면 늘 마주치는 골칫거리가 있었습니다. 가상 인물에게 제품을 쥐여주면 손가락이 뭉개지거나, 제품 패키지의 로고와 형태가 엉뚱하게 일그러지는 현상입니다.

바이트댄스와 홍콩중문대 연구진은 4월 13일 인물과 사물의 상호작용에 특화된 엔드투엔드 동영상 생성 모델 '옴니쇼(OmniShow)'를 공개했습니다. 커머스 쇼츠와 마케팅 콘텐츠 제작 자동화를 정조준한 기술입니다.

이미지·음성·스켈레톤을 한 번에 제어하는 멀티모달 구조

기존 비디오 생성 모델들은 텍스트나 단일 이미지를 바탕으로 움직임을 만들어내는 데 집중해, 인물 얼굴과 특정 상품의 일관성을 동시에 유지하면서 대사 입모양까지 맞추기가 불가능에 가까웠습니다. 옴니쇼는 이미지, 오디오, 포즈, 텍스트 조건을 하나의 파이프라인에서 처리하는 완전한 멀티모달 구조를 채택했습니다.

사용자는 모델에 인물 사진과 판매할 제품 이미지를 함께 제공한 뒤, 원하는 음성 파일과 동작을 지시하는 스켈레톤 뼈대 영상을 입력하면 됩니다. 옴니쇼는 이를 조합해 최장 10초 길이의 연속 롱테이크 영상을 생성합니다.

공개된 데모에서는 단백질 보충제, 화장품, 고데기 등을 든 가상 인물이 자연스럽게 대사를 읊으며 제품을 시연합니다. 타사 모델과 비교했을 때 제품 외형이 왜곡되지 않고 원본 그대로 유지되며, 손가락 마디의 정밀한 파지와 정교한 립싱크가 돋보입니다.

연구팀은 논문에서 이미지와 포즈를 효율적으로 주입하는 채널별 통합 조건화 기술과, 음성과 영상을 정밀하게 동기화하는 로컬 컨텍스트 어텐션을 적용했다고 밝혔습니다. 부족한 데이터를 메우기 위해 단계적 학습과 모델 병합 기법을 썼으며, 전용 벤치마크인 HOIVG-Bench도 구축했습니다. 현재 깃허브 저장소가 개설되었으나 코드는 내부 심사 중으로 안내되어 있어 공개를 기다려야 합니다.

왜 중요한가

중소 이커머스 셀러와 크리에이터에게 옴니쇼는 제작 비용을 극적으로 낮춰주는 무기가 될 수 있습니다. 모델을 섭외해 스튜디오에서 촬영하지 않고도, 제품 사진 한 장과 녹음된 목소리만 있으면 맞춤형 쇼츠 광고를 수십 편씩 뽑아낼 수 있기 때문입니다.

산업적 측면에서도 바이트댄스의 전략은 매우 명확합니다. 거대 AI 기업들이 범용 물리 법칙을 모사하는 거대한 비디오 모델을 두고 힘겨루기를 하는 사이, 바이트댄스는 자사의 핵심 캐시카우인 커머스 숏폼 영역으로 직행했습니다. 제품 형태 유지라는 실질적인 난제를 풀어낸 셈입니다.

우리는 옴니쇼가 무작정 모델 크기를 키우기보다 정밀한 조건 제어에 집중한 점을 높게 평가합니다. 다만 10초 길이는 완결성 있는 광고를 담아내기엔 다소 짧아 컷 편집 보완이 필요해 보입니다. 아울러 극도로 정교한 가짜 홍보 영상이 범람할 경우 발생할 플랫폼 신뢰도 저하와 허위 광고 규제 문제도 앞으로 해결해야 할 숙제입니다.