LeapTalk, 단일 단계 증류로 최대 200 FPS 실시간 디지털 휴먼 생성
연구진이 실시간 토킹헤드 생성 프레임워크 LeapTalk를 공개했다. 다단계 확산 모델의 긴 지연 시간과 자기회귀 모델의 얼굴 변형 문제를 해결하기 위해 브라운 브리지 기반 1단계 이종 증류를 도입했으며, 사진 한 장과 음성만으로 최대 200 FPS 속도의 정밀한 립싱크 롱폼 영상을 실시간 생성한다.
연구진이 실시간 토킹헤드 생성 프레임워크 LeapTalk를 공개했다. 다단계 확산 모델의 긴 지연 시간과 자기회귀 모델의 얼굴 변형 문제를 해결하기 위해 브라운 브리지 기반 1단계 이종 증류를 도입했으며, 사진 한 장과 음성만으로 최대 200 FPS 속도의 정밀한 립싱크 롱폼 영상을 실시간 생성한다.