영상 더빙과 립싱크를 한 번에 해결하는 오픈소스 도구 'Just Dub It'

Just Dub It은 영상의 다국어 더빙과 립싱크를 한 번에 해결해 주는 오픈소스 도구입니다. 한 언어로 말하는 영상을 입력하면 프랑스어, 독일어, 포르투갈어 등 다른 언어로 번역된 음성을 입히는 동시에, 그 발음에 꼭 맞춘 입모양을 새로 만들어 냅니다. 원래 화자의 얼굴 생김새는 그대로 유지됩니다.

개발팀은 GitHub와 Hugging Face를 통해 추론 코드와 LoRA 가중치, 학습 데이터셋을 모두 공개했습니다. 글로벌 영상 콘텐츠를 제작하거나 로컬 환경에서 돌아가는 시청각 생성 모델을 찾고 있던 사용자라면 당장 살펴볼 만합니다.

무엇을 할 수 있나

기존 영상 더빙은 음성 인식, 텍스트 번역, 음성 합성, 립싱크 보정 모델을 순서대로 이어 붙이는 복잡한 파이프라인을 거쳐야 했습니다. 이 때문에 입모양만 따로 놀거나 얼굴 표정이 어색하게 뭉개지는 일이 잦았습니다.

Just Dub It은 음성과 영상을 함께 만들어내는 시청각 확산 방식을 씁니다. 공개된 예시에서는 영어로 말하는 원본 영상이 프랑스어, 독일어, 포르투갈어로 자연스럽게 번역되며, 말하는 입술 모양까지 새 언어의 발음에 맞게 실시간으로 다시 그려집니다.

특히 인물의 정체성을 잘 보존하도록 설계되어 영상 속 인물이 고개를 돌리거나 움직여도 얼굴이 일그러지지 않고 본래 모습을 안정적으로 유지합니다.

어떻게 구현했나

이 프로젝트는 모델 전체를 바닥부터 새로 학습한 것이 아니라, 영상과 음성을 기본 지원하는 오픈소스 모델 LTX-2 기반의 경량 LoRA 어댑터로 만들어졌습니다.

LTX-2는 비교적 가볍고 생성 속도가 빠른 모델입니다. Just Dub It은 이 모델의 장점을 살려 원본 영상과 프롬프트를 조건으로 삼아 번역된 오디오와 동기화된 입모양을 하나의 과정에서 동시에 뿜어냅니다.

실행하려면 전용 LoRA 파일 외에도 LTX-2 19B 체크포인트, 증류 LoRA, Gemma 3 텍스트 인코더, 2배 공간 업스케일러를 함께 내려받아야 합니다. 예를 들어 기본 해상도를 512x768로 지정해 30단계를 거치면, 업스케일러를 통해 최종 1024x1536 해상도의 고화질 영상을 얻을 수 있습니다.

실행 방법과 요구 사양

GitHub에서 소스코드를 받고 Hugging Face에서 가중치를 받아 바로 실행해 볼 수 있습니다. 명령줄 인터페이스와 파이썬 API를 모두 지원하며, 프롬프트는 화자 묘사, 목표 언어, 대사를 지정하는 정해진 형식을 따릅니다. 대사 번역 자체는 일반적인 LLM을 연동해 손쉽게 자동화할 수 있습니다.

하드웨어 요구 사양도 현실적입니다. 대다수 일반 소비자용 GPU에서 구동할 수 있으며, 시스템 메모리가 넉넉하다면 CPU만으로도 추론이 가능하다고 안내되어 있습니다.

왜 중요한가

우리는 Just Dub It이 기존의 파편화된 더빙 방식을 버리고 오디오와 비디오가 통합된 최신 파운데이션 모델을 LoRA로 영리하게 공략했다고 봅니다. 음성과 입모양을 따로 만들어 합성하던 방식에서 벗어나, 소리와 화면이 유기적으로 함께 생성되는 단계로 넘어간 셈입니다.

글로벌 진출을 노리는 크리에이터나 해외 로컬라이징을 준비하는 개발팀에게는 비싼 상용 API 구독료를 아끼고 데이터 보안을 지키면서 작업할 수 있는 훌륭한 선택지입니다. 코드가 완전히 열려 있는 만큼 특정 언어나 목소리에 맞춰 추가 튜닝할 수도 있습니다.

다만 19B 기반 모델과 인코더를 함께 올려야 하므로 일반 사용자가 클릭 한 번으로 쓰기에는 여전히 기술적 진입장벽이 있습니다. 그럼에도 개인 PC 환경에서 이 정도 품질의 립싱크 더빙이 가능해졌다는 점은 로컬 영상 생성의 실용성을 한 단계 끌어올린 변화입니다.