OpenMOSS, 영상·음성 동시 생성 모델 'MOVA' 오픈소스 공개

MOVA는 OpenMOSS 팀이 개발해 오픈소스로 공개한 음성·영상 동시 생성 파운데이션 모델입니다.

영상 모델로 화면을 먼저 뽑고 별도 도구로 음성과 립싱크를 덧입히던 기존 방식과 달리, MOVA는 단일 추론 과정에서 고화질 영상과 사운드를 함께 만들어 오류 누적을 없앴습니다.

무엇을 할 수 있나

MOVA는 다국어 립싱크와 환경을 반영한 음향 효과 생성을 지원합니다.

공개된 데모에서는 실내 발표 영상뿐만 아니라 공원을 걸으며 대화를 나누는 성인과 아이의 다인원 대화 장면에서도 발화 타이밍과 공간 울림, 입모양이 매끄럽게 맞아떨어집니다.

오디오 싱크 벤치마크에서는 LTX2보다 뛰어난 성능을 기록한 것으로 나타났습니다. Sora 2, Veo 3, Kling 등 주요 모델들이 폐쇄형으로 서비스되는 상황에서, MOVA는 모델 가중치뿐 아니라 추론 코드, 학습 파이프라인, LoRA 파인튜닝 스크립트까지 전부 공개했습니다.

아키텍처와 하드웨어 요구사항

내부 구조는 사전 학습된 비디오 타워와 오디오 타워를 양방향 크로스 어텐션 메커니즘으로 결합한 비대칭 듀얼 타워 방식을 사용합니다.

전체 320억 개 파라미터로 이루어진 MoE(전문가 혼합) 구조이며, 실제 추론 시에는 180억 개 파라미터만 활성화되어 연산 효율을 맞춥니다.

모델은 360p와 720p 두 가지 버전으로 제공됩니다. 다만 720p 버전은 용량이 약 77GB에 달해 일반적인 소비자용 GPU로는 구동하기 어렵습니다.

로컬 테스트를 위해 CPU 오프로딩 옵션이 제공됩니다. 8초 분량의 360p 영상을 생성할 때 레이어 단위 오프로드를 쓰면 RTX 4090 환경에서 VRAM 12GB로 구동할 수 있지만, 시스템 RAM이 76.7GB 필요하고 스텝당 42초가량 소요됩니다. H100에서는 VRAM 48GB를 쓰며 스텝당 약 9초가 걸립니다.

실행 방법

전체 코드와 안내는 GitHub의 OpenMOSS/MOVA 저장소에 올라와 있으며, 가중치는 Hugging Face를 통해 내려받을 수 있습니다.

파이썬 3.13 환경을 구성한 뒤 제공된 추론 스크립트를 통해 단일 인물이나 다인원 대화 프롬프트를 테스트해 볼 수 있습니다. 커뮤니티가 제작한 ComfyUI 노드와 외부 API 지원도 마련되어 있습니다.

왜 중요한가

오픈소스 진영의 영상 모델은 소리가 없는 경우가 대부분이었고, 음향과 입모양이 결합된 결과물은 폐쇄형 플랫폼의 전유물이었습니다. MOVA는 가중치와 학습 파이프라인 전체를 풀어 창작자와 개발자가 자체적으로 파인튜닝할 수 있는 기반을 열어주었습니다.

그러나 진입 장벽은 여전히 높습니다. 720p 모델을 돌리려면 고가의 서버급 장비가 필수적이며, RTX 4090으로 360p를 돌리려 해도 시스템 메모리를 80GB 가까이 요구합니다. 기술적 완성도는 인상적이지만, 개인이 일상적으로 활용하려면 경량화와 양자화 작업이 더 이어져야 할 것으로 보입니다.