알리바바, 입술 모양 맞추는 영상 더빙 AI 'Fun-CineForge' 공개
알리바바가 영상 속 입술 움직임에 맞춰 대사를 생성하는 멀티모달 더빙 모델 Fun-CineForge를 오픈소스로 공개했다. 시간 정보를 독립 모달리티로 다뤄 얼굴 가림이나 빠른 화면 전환 속에서도 캐릭터별 음성과 타이밍을 정밀하게 맞춰준다.
알리바바가 영상 속 입술 움직임에 맞춰 대사를 생성하는 멀티모달 더빙 모델 Fun-CineForge를 오픈소스로 공개했다. 시간 정보를 독립 모달리티로 다뤄 얼굴 가림이나 빠른 화면 전환 속에서도 캐릭터별 음성과 타이밍을 정밀하게 맞춰준다.