타부스, fal에 고정밀 제로샷 립싱크 모델 'Hummingbird-0' 공개

AI 비디오 제작에서 목소리와 입 모양이 조금만 어긋나도 시청자는 즉각 어색함을 느끼게 됩니다.

Tavus가 AI 개발 플랫폼 FAL에 새로운 립싱크 모델인 Hummingbird-0을 리서치 프리뷰 형태로 공개했습니다.

제로샷 립싱크 모델 출시

Tavus는 자체 테스트 결과, Hummingbird-0이 오픈소스와 상용 모델을 통틀어 가장 정확한 제로샷 립싱크 성능을 보여줬다고 설명했습니다.

제로샷 방식이기 때문에 특정 인물의 얼굴 데이터를 따로 사전 학습하거나 미세조정하지 않아도, 음성과 영상만 입력하면 바로 자연스러운 입 모양을 맞춰냅니다.

왜 중요한가

영상 다국어 더빙과 디지털 휴먼 제작에서 립싱크의 자연스러움은 콘텐츠 완성도를 가르는 핵심 요소입니다.

Hummingbird-0이 별도 학습 없이도 기존 상용 모델 이상의 품질을 낸다면, 글로벌 영상 현지화 작업에 드는 비용과 시간을 크게 줄일 수 있습니다. FAL을 통해 리서치 프리뷰로 먼저 개방한 점은 개발자들로부터 극한 환경 테스트 결과를 빠르게 모으려는 실용적인 접근으로 보입니다.

다만 Tavus는 구체적인 벤치마크 지표나 처리 지연 시간 데이터를 아직 공개하지 않았습니다. 복잡한 표정이나 다양한 언어 환경에서도 일관된 정확도를 유지할 수 있을지는 커뮤니티의 실제 사용 테스트를 지켜볼 필요가 있습니다.