바이트댄스·칭화대 DreamID-Omni 공개: 사진과 음성으로 다자간 대화 영상 생성

AI로 생성된 가상 인간 영상을 볼 때 가장 몰입을 깨는 순간은 단연 립싱크 오류다. 두 명 이상이 한 장면에 나올 때 A가 말하는데 B의 입이 움직이거나, 목소리와 입 모양이 따로 노는 어색함이 대표적이다.

바이트댄스 지능창작연구소와 칭화대학교 공동 연구팀은 이러한 고질적 문제를 해결한 멀티모달 모델 'DreamID-Omni'를 발표했다(논문 번호: arXiv:2602.12160v1). 정적 사진을 발화하게 만드는 수준을 넘어, 한 화면 안에서 여러 인물이 대화하는 장면을 온전히 구현해냈다.

다자간 장면에서 발생하는 '립싱크 혼선' 해결

기존의 발화 영상 생성 기술은 대개 1인 중심이어서, 여러 인물이 한 화면에 등장하면 목소리와 얼굴 특징이 뒤섞이는 '화자 혼동'이 빈번하게 발생했다.

DreamID-Omni는 이를 해결하기 위해 '이중 계층 디커플링' 전략을 도입했다. 신호 레벨에서는 동기화 회전 위치 인코딩을 적용해 타임라인상에서 각 인물에게 전용 슬롯을 부여하고, 의미 레벨에서는 구조화된 캡션을 통해 각 인물에게 고유 식별자 ID를 부여해 외모, 음성, 대사를 단단히 묶어 관리한다.

이를 통해 앤 해서웨이나 윌 스미스의 사진과 음성 샘플을 각각 입력하면, 시스템이 각자의 원래 목소리로 자연스럽게 대화를 주고받는 다자간 영상을 만들어낸다.

텍스트 생성부터 기존 영상 편집까지 지원

이 시스템은 백지상태에서의 영상 생성뿐만 아니라 다방면의 작업을 지원한다. 정적 사진을 음성만으로 움직이게 하는 오디오 기반 생성은 물론, 기존 영상 속 인물의 얼굴과 목소리를 다른 인물로 교체하는 정교한 영상 편집도 가능하다. 원본 영상의 동작과 대화 타이밍을 완벽히 유지하면서 자연스럽게 인물을 바꿀 수 있다.

연구팀은 마스크 재구성부터 교차 분리 학습, 멀티태스크 파인튜닝으로 이어지는 3단계 점진적 학습을 적용해 다양한 작업 간 유연한 전환을 구현했다.

200개의 고난도 샘플로 구성된 'IDBench-Omni' 벤치마크 테스트에서 이 모델은 Wan2.6 등 기존 상용 시스템을 제치고 립싱크 정확도와 인물 일관성에서 최고 점수를 기록했다. 30명의 영상 제작 전문가를 대상으로 한 주관 평가에서도 7개 전 부문에서 가장 높은 평가를 받았다. 현재 깃허브 저장소가 개설되었으며, 3월 중 v1 오픈소스 버전이 공개될 예정이다.

왜 중요한가

1인 창작자나 소규모 제작 스튜디오 관점에서 이번 기술의 실용적 가치는 상당하다. 이전까지 다자간 대화 영상을 만들려면 음성 복제, 얼굴 생성, 립싱크 도구를 따로 사용하며 싱크를 수작업으로 맞춰야 했다. DreamID-Omni가 3월에 오픈소스로 풀린다면 사진과 짧은 음성 파일만으로도 다자간 상황극이나 드라마 영상을 빠르게 제작할 수 있게 된다.

산업 전반으로 보면, 개별 기능을 짜깁기하던 방식에서 벗어나 시청각 멀티모달을 하나의 확산 트랜스포머 아키텍처로 통합했다는 점에서 의미가 크다. 시간 축과 의미 공간에서 인물 ID를 체계적으로 분리한 설계는 업계의 오랜 병목을 영리하게 짚어낸 해결책으로 평가된다.

다만 실제 환경에서의 연산 자원 소모량과 장시간 영상 생성 시의 안정성은 검증이 더 필요하다. 아울러 기존 영상의 얼굴과 음성을 정교하게 교체할 수 있는 기술인 만큼, 딥페이크 오남용과 저작권 침해에 대응할 윤리적 가이드라인 마련도 시급한 과제다.