영상과 음성을 한 번에, 일체형 디지털 휴먼 모델 'ID Laura' 오픈소스 공개

지금까지 정교한 디지털 휴먼 영상을 제작하는 과정은 꽤나 번거로웠습니다.

먼저 음성 복제 툴로 목소리를 따고, 비디오 모델로 인물 영상을 만든 뒤, 다시 립싱크 프로그램을 돌려 입모양을 맞추는 복잡한 단계를 거쳐야 했습니다.

이런 다단계 방식은 입술 움직임이 부자연스럽거나 음성의 억양과 몸짓이 따로 놀기 쉬웠고, 현장 배경음이 빠져 어색한 느낌을 주기 일쑤였습니다.

오픈소스로 공개된 ID Laura(논문명 ID-LoRA)는 이런 쪼개진 파이프라인을 단일 모델 하나로 통합해 버렸습니다.

영상, 복제 음성, 환경음까지 한 번에 뽑아낸다

ID Laura는 기존의 분절된 방식을 버리고, 영상과 음향을 처음부터 하나의 생성 과정에서 동시에 다룹니다.

오픈소스 LTX 2.3(LTX-2) 오디오-비디오 확산 백본을 기반으로 삼고, In-Context LoRA 구조를 접목해 효율성을 극대화했습니다.

사용법은 간단합니다. 인물 사진 한 장, 몇 초 분량의 참조 음성 파일, 프롬프트와 원하는 대사만 넣으면 됩니다.

모델은 대사를 읊는 인물의 영상뿐만 아니라 정교하게 복제된 억양, 자연스러운 입모양, 제스처를 동시에 생성합니다.

특히 눈에 띄는 점은 환경음 결합 능력입니다. 프롬프트에 '책상을 내려치는 소리'나 '나무가 쓰러지는 장면'을 넣으면 별도 음향 편집 없이도 영상 타이밍에 딱 맞는 소리가 함께 렌더링됩니다.

기발한 위치 인코딩과 단 3천 쌍의 학습 데이터

영상과 음성 토큰을 단일 확산 모델에서 처리할 때 가장 골치 아픈 문제는 참조 정보와 생성 정보가 엉키고, 노이즈 제거 과정에서 음색이 옅어지는 현상이었습니다.

연구팀은 음의 시간 위치 기법을 도입해 RoPE 영역을 분리함으로써 참조 데이터의 구조를 유지한 채 혼선을 막았습니다.

또한 참조 신호 유무를 대조해 고유 음색을 증폭시키는 '아이덴티티 가이던스' 기법을 적용해 목소리의 특징을 끝까지 유지시켰습니다.

놀라운 점은 이 모델이 단 한 대의 GPU와 약 3,000쌍의 데이터만으로 학습을 마쳤다는 사실입니다.

블라인드 평가에서 Kling 2.6 Pro와 비교했을 때 평가자의 73%가 음성 유사도에서, 65%가 말투의 자연스러움에서 ID Laura의 손을 들어줬습니다. 다양한 환경 조건에서의 화자 일관성도 Kling 대비 24% 높았습니다.

다만 로컬 실행 사양은 높은 편입니다. 최소 24GB VRAM이 필요하며, 원활한 구동을 위해서는 48GB를 권장합니다.

왜 중요한가

우리는 ID Laura가 멀티모달 생성 기술이 나아가야 할 궁극적인 형태를 잘 보여준 사례라고 봅니다.

1인 창작자나 게임 개발자 입장에서는 여러 툴을 전전하던 복잡한 워크플로가 단 하나의 프롬프트로 단축됩니다. 립싱크 싱크를 맞추느라 버리던 시간과 사운드 후작업 수고를 단숨에 덜어낼 수 있습니다.

업계 관점에서도 큰 울림을 줍니다. 거대 기업들이 영상 화질과 길이에만 매달릴 때, ID Laura는 비교적 가벼운 오픈소스 모델과 적은 데이터로도 시각과 청각의 물리적 일체감을 훨씬 뛰어나게 구현할 수 있음을 입증했습니다.

물론 최소 24GB라는 VRAM 장벽 탓에 일반 사용자가 당장 집에서 가볍게 돌려보긴 어렵습니다. 현재로서는 고성능 워크스테이션을 갖춘 스튜디오나 엔지니어들이 먼저 주목할 도구지만, 단일 모델 기반 딥페이크의 완성도를 한 단계 끌어올렸다는 점은 분명합니다.