바이트댄스, 영상·음성 동시 생성 모델 'Alive' 예고…입모양 완벽 동기화

지금까지 AI로 영상을 만들 때 가장 번거로웠던 부분은 소리 없는 영상을 먼저 뽑고, 다른 툴로 음향을 입힌 뒤 립싱크를 따로 맞추는 분절된 작업 방식이었습니다.

바이트댄스는 이 문제를 해결하기 위해 영상과 음성을 한 번에 생성하는 통합 멀티모달 모델 'Alive'의 논문을 공개했습니다. 화면이 생성되는 바로 그 과정에서 완벽히 동기화된 오디오를 함께 출력하는 구조입니다.

텍스트와 이미지 입력으로 입모양까지 한 번에

최근 주목받은 Seedance 2.0에 이어 바이트댄스의 영상 생성 연구가 한층 속도를 내는 모양새입니다. Alive는 텍스트 프롬프트뿐만 아니라 참조 이미지와 참조 오디오를 동시에 입력받을 수 있습니다.

텍스트만으로 배경음과 효과음이 포함된 영상을 만들 수도 있고, 캐릭터나 사물의 정지 이미지를 올려 자연스러운 표정으로 말하는 영상으로 변환하는 것도 가능합니다.

연구팀이 공개한 승률 비교에 따르면 Alive는 움직임의 품질, 시각적 완성도, 프롬프트 반영도, 음질 등 전반적인 지표에서 Sora, LTX2, VO3.1을 앞선 것으로 나타났습니다. 특히 입술 움직임과 발음의 일치도가 매우 자연스럽습니다.

확산 모델에 영상과 소리를 묶는 시계를 달다

영상과 소리를 오차 없이 결합하기 위해 연구팀은 널리 쓰이는 MMDiT 구조를 개조해 통합 오디오-비디오 브랜치를 추가했습니다.

핵심 기술은 시간 축에서 두 모달리티를 엮어주는 TA-CrossAttn과, 시각 프레임과 오디오 파형의 타이밍을 정밀하게 맞추는 UniTemp-RoPE입니다. 이 장치들이 영상과 소리의 기준 시계 역할을 합니다.

여기에 정교한 캡셔닝과 품질 필터링 파이프라인을 구축해 수백만 건의 고품질 데이터로 추가 사전학습과 미세조정을 거쳤습니다. 다만 현재는 논문만 나온 상태로, 깃허브에는 코드가 아직 올라오지 않았으며 온라인 데모 역시 준비 중입니다.

왜 중요한가

우리는 영상 생성 AI가 마침내 '무성영화 끼워 맞추기' 단계를 넘어서고 있다고 봅니다. 화면을 먼저 만들고 소리를 덧입히는 방식은 물리 법칙에 따른 시청각 일치감을 완벽히 구현하기 어려웠습니다. Alive처럼 확산 모델 내부에서 오디오를 본질적으로 통합하는 방향이 향후 영상 AI의 기본 문법이 될 가능성이 높습니다.

창작자 입장에서는 이미지 한 장으로 말하는 영상과 음향을 동시에 뽑아낼 수 있어 숏폼 콘텐츠나 애니메이션 기획 단계의 제작 비용을 크게 줄일 수 있습니다.

하지만 당장 과도한 기대를 갖기보다는 지켜볼 필요가 있습니다. 자체 벤치마크 승률은 검증용 데이터 선택에 따라 유리하게 나올 수 있고, 아직 코드와 데모가 열리지 않아 실제 손에 쥐기까지는 시간이 걸립니다. 바이트댄스가 이를 언제 실질적인 도구로 개방할지가 성패를 가를 것입니다.