바이트댄스, 영상·음성 동시 생성 모델 'Alive' 예고…입모양 완벽 동기화
바이트댄스가 영상과 음성을 한 번에 생성하는 멀티모달 모델 'Alive'를 발표했다. 텍스트나 참조 이미지를 바탕으로 입모양과 표정이 정밀하게 일치하는 유성 영상을 생성하며, 자체 평가에서 Sora를 앞선 것으로 나타났다. 현재 논문만 공개되었으며 코드와 데모는 준비 중이다.
바이트댄스가 영상과 음성을 한 번에 생성하는 멀티모달 모델 'Alive'를 발표했다. 텍스트나 참조 이미지를 바탕으로 입모양과 표정이 정밀하게 일치하는 유성 영상을 생성하며, 자체 평가에서 Sora를 앞선 것으로 나타났다. 현재 논문만 공개되었으며 코드와 데모는 준비 중이다.