바이두, 영상·음성 동시 생성 모델 NAVA 공개: 63억 파라미터로 싱크 구현

지금까지의 AI 비디오 생성에서 가장 어색한 지점은 영상 품질보다 소리의 부재였습니다. 대부분 무성영화처럼 비디오를 먼저 뽑아낸 뒤, 별도의 TTS나 립싱크 프로그램을 거쳐 음성을 덧입히는 방식이다 보니 입모양과 목소리가 어긋나기 쉬웠습니다.

바이두 ERNIE 팀은 영상과 음향을 동시에 생성하는 모델 NAVA를 오픈소스로 공개했습니다.

이 모델은 63억 파라미터 크기이면서도 사후 더빙 방식 대신 영상과 2채널 스테레오 오디오를 단일 생성 과정에서 함께 엮어냅니다.

정렬 후 융합으로 입모양 불일치 해결

영상과 소리를 동시에 다룰 때, 두 경로를 억지로 맞추면 싱크가 밀리고 모든 데이터를 한꺼번에 집어넣으면 미세한 입모양 학습이 무너지기 마련입니다.

NAVA는 정렬 후 융합이라는 MMDiT 구조로 이 문제를 풀었습니다. 총 30개 레이어 중 초기 10개 듀얼 스트림 레이어에서 영상과 오디오의 물리적 대응 관계를 먼저 학습하고, 이후 20개 레이어에서 텍스트 프롬프트와 맥락을 결합해 전체 노이즈를 제거합니다.

초기 단계에서 움직임과 소리가 단단히 고정되기 때문에 생성 도중 싱크가 틀어지지 않습니다.

Verse-Bench 벤치마크 테스트 결과, NAVA는 입모양 일치도를 측정하는 지표와 영상 화질, 음성 인식 오류율 전반에서 기존 오픈소스 모델보다 최대 5배 적은 파라미터로 최고 수준의 성능을 기록했습니다.

음색 복제부터 카메라 연출까지 한 번에

NAVA는 단순한 배경 소음뿐 아니라 여러 화자가 등장하는 대화 장면도 자연스럽게 소화합니다.

참조 오디오 파일을 입력하면 특정 화자의 목소리 톤을 지정된 대사 구간에 입힐 수 있어 원하는 음색으로 캐릭터를 말하게 만들 수 있습니다.

카메라 움직임 역시 자연어 프롬프트로 제어할 수 있습니다. 샷의 구도나 이동 속도를 텍스트로 지시할 수 있으며, 가로, 세로, 정사각형 비율을 모두 지원합니다.

속도 면에서도 8장의 GPU 시퀀스 병렬 처리를 통해 720p 해상도의 1분 길이 싱크 비디오를 약 1분 만에 생성해냅니다. 주요 가중치 파일과 추론 코드는 GitHub와 허깅페이스에 공개되었습니다.

왜 중요한가

가상 인간을 제작하거나 숏폼 콘텐츠를 만드는 창작자에게 NAVA는 복잡한 작업 단계를 단번에 줄여주는 도구입니다. 비디오 툴과 음성 합성, 립싱크 보정 소프트웨어를 번갈아 오가며 입모양을 맞추던 소모적인 작업을 거치지 않고도 오디오가 포함된 결과물을 바로 얻을 수 있습니다.

산업 측면에서는 63억 파라미터라는 상대적으로 작은 규모로도 시청각 동시 생성을 충분히 높은 완성도로 구현할 수 있음을 증명했습니다. 무작정 모델 덩치를 키우기보다 정렬 구조를 정교하게 깎아내는 방식이 멀티모달 통합에서 더 효과적일 수 있다는 점을 보여줍니다.

다만 일반 사용자에게는 여전히 연산 환경의 문턱이 높습니다. 720p 고화질 영상을 원활하게 뽑아내려면 여러 대의 고성능 GPU 병렬 처리가 필요해 개인용 PC 한 대로는 당장 쾌적하게 돌리기 어렵습니다. 그럼에도 AI 영상이 묵음 상태를 벗어나 완전한 오디오 일체형으로 진화하는 흐름 속에서, 바이두가 던진 이번 오픈소스 모델의 파급력은 결코 작지 않아 보입니다.