싱크랩스, 입모양 수정 AI '립싱크-2-프로' 공개…고해상도 디테일 유지
싱크랩스는 영상 속 인물의 발화와 입모양을 변경하는 새 모델 'Lipsync-2-Pro'를 공개했다. 고해상도 영상 편집을 지원하며, 주근깨나 수염 같은 얼굴의 세부 질감을 뭉개지 않고 그대로 유지한 채 자연스러운 립싱크를 구현한다.

기존 AI 립싱크 기술은 입술을 새로 맞추는 과정에서 턱수염이나 주근깨 같은 피부 디테일이 뭉개지는 한계가 있었습니다.
Sync Labs는 영상 속 인물이 말하는 내용을 수정할 수 있는 신규 비디오 모델 lipsync-2-pro를 공개했습니다.
수염과 주근깨 디테일까지 그대로 보존
Sync Labs에 따르면 lipsync-2-pro는 모든 영상 속 대사를 자연스럽게 편집할 수 있도록 설계되었습니다.
특히 고해상도 영상 처리에 집중해, 미세한 주근깨부터 빽빽한 턱수염까지 인물의 세부 요소를 훼손하지 않고 입모양을 변경할 수 있다는 점을 강조했습니다.
왜 중요한가
영상 다국어 더빙이나 광고 대사 수정에서 립싱크는 필수 도구로 꼽히지만, 지금까지는 화질 저하나 부자연스러운 피부 표현 때문에 근접 촬영 장면에 쓰기 어려웠습니다.
고화질 환경에서 턱수염과 피부 질감을 그대로 유지할 수 있다면 글로벌 콘텐츠 로컬라이징의 완성도를 크게 끌어올릴 수 있습니다. 다만 정면이 아닌 측면 앵글이나 급격한 머리 움직임 속에서도 일관성을 유지할 수 있을지는 실제 사용 사례를 통해 지켜볼 필요가 있습니다.
출처 (1)
- @synclabs_so(새 탭에서 열림)원문x.com