메타, 'Movie Gen' 공개: 30B 영상·13B 오디오 모델로 정밀 편집과 맞춤형 비디오 지원

AI 비디오를 다뤄본 사람이라면 화려한 영상 뒤에 남는 막막함을 잘 압니다. 소리가 전혀 없는 무성 영화인 데다, 화면 속 작은 요소 하나만 바꾸려 해도 프롬프트를 통째로 다시 돌려야 하기 때문입니다.

Meta가 10월 4일 공개한 멀티미디어 파운데이션 모델 'Movie Gen'은 이러한 한계를 한 번에 해결하려는 야심 찬 연구 결과물입니다. 영상 생성뿐 아니라 정밀 편집, 인물 일관성 유지, 오디오 싱크 맞춤까지 하나의 파이프라인으로 묶었습니다.

핵심 축은 두 개의 트랜스포머 모델입니다. 영상을 담당하는 'Movie Gen Video'는 300억 파라미터 규모로, 텍스트 입력만으로 다양한 화면비의 고화질 장편 비디오를 생성합니다. Meta는 다양한 종횡비를 지원하는 고해상도 영상 생성이 업계 최초라고 설명했습니다.

사운드를 담당하는 'Movie Gen Audio'는 130억 파라미터 크기입니다. 비디오와 선택적 텍스트 프롬프트를 함께 입력받아, 화면 속 동작에 정확히 맞춘 환경음, 폴리 효과음, 악기 배경음악을 고음질로 자동 생성해 냅니다.

특정 부분만 고치는 편집과 사진 한 장으로 만드는 비디오

Movie Gen의 진짜 강점은 생성 이후의 제어 능력에 있습니다.

기존 영상이나 생성된 비디오에 텍스트 지시어를 넣으면 정밀 편집이 가능합니다. 영상 전체를 망가뜨리지 않고 특정 요소를 추가, 제거, 교체할 수 있으며, 배경이나 영상 스타일만 통째로 바꾸는 작업도 간단한 문장으로 처리됩니다.

인물 맞춤형 영상 생성 기능도 포함됐습니다. 사용자의 얼굴 사진 한 장과 텍스트 프롬프트를 넣으면, 인물의 고유한 외모와 자연스러운 움직임을 유지하면서 새로운 비디오를 만들어 냅니다.

실제 창작 현장의 목소리를 반영하기 위해 Meta는 영화 제작사 블룸하우스와 손을 잡았습니다. 선별된 감독들이 정식 공개 전 도구를 직접 테스트했으며, 아니쉬 차간티 감독은 'i h8 ai'라는 제목의 단편 영상을 제작해 해당 기술의 가능성을 시험하기도 했습니다.

왜 중요한가

우리는 Meta의 이번 발표가 AI 비디오 경쟁의 초점을 단순한 '해상도 경쟁'에서 '실제 제작 워크플로의 완성'으로 옮겨놓았다고 평가합니다.

지금까지의 AI 영상 작업은 분절 그 자체였습니다. 영상 생성 도구에서 무성 화면을 뽑은 뒤 다른 오디오 툴을 찾아 효과음을 입혀야 했고, 옥에 티가 나오면 수정을 포기하고 다시 뽑기를 반복해야 했습니다. 부분 수정, 인물 고정, 오디오 동기화를 하나로 통합한 방식은 크리에이터들의 현실적인 작업 장벽을 정확히 짚은 셈입니다.

창작자 입장에서는 복잡한 후반 작업 없이도 스토리보드나 프리비즈, 숏폼 콘텐츠를 훨씬 빠르게 실험해 볼 수 있는 길이 열립니다.

하지만 현실적인 걸림돌도 분명합니다. Movie Gen은 아직 연구 단계이며 잠재적 배포를 준비하는 과정에 불과합니다. 300억 파라미터 비디오 모델과 130억 파라미터 오디오 모델을 함께 구동하는 데 드는 막대한 연산 비용을 고려할 때, 일반 대중이 실제로 언제쯤 부담 없이 써볼 수 있을지는 여전히 지켜볼 대목입니다.