구글 딥마인드, 무음 영상에 효과음과 대사 입히는 'V2A' 기술 공개

생성 AI가 만든 영상이 아무리 사실적이어도, 재생 버튼을 눌렀을 때 침묵만 흐른다면 어색함을 지우기 어렵습니다. 거친 파도가 치고 자동차가 질주하는 장면 뒤에 사운드를 얹으려면, 지금까지는 편집자가 타임라인에 오디오를 일일이 맞춰 넣어야 했습니다.

Google DeepMind는 6월 17일, 이러한 문제를 해결하기 위한 기술인 V2A(Video-to-Audio)의 연구 성과를 공개했습니다. 영상 픽셀과 자연어 프롬프트를 함께 분석해, 장면에 어울리는 배경음악과 효과음은 물론 대사까지 자동으로 생성해 동기화해 주는 기술입니다.

픽셀을 직접 읽고 노이즈에서 소리를 빚어내다

기존 음향 작업은 발소리나 폭발음에 맞춰 오디오 트랙을 프레임 단위로 미세하게 조정하는 고된 과정이었습니다. 기존의 자동화 솔루션들도 언제 어떤 소리가 나와야 하는지 세세한 텍스트 설명을 요구하는 경우가 많았습니다.

DeepMind의 V2A는 원본 영상의 픽셀을 직접 이해한다는 점에서 차별화됩니다. 텍스트 프롬프트는 필수가 아니어서, 아무런 지시어를 입력하지 않아도 화면 속 동작을 파악해 알아서 음향을 만들어 냅니다.

연구팀은 자기회귀 방식과 확산 모델 방식을 비교 실험한 끝에, 오디오 생성에는 확산 모델이 영상과 오디오의 싱크를 맞추고 현실감 있는 소리를 내는 데 훨씬 효과적이라는 결론을 내렸습니다.

작업 방식은 먼저 입력 영상을 압축된 표현으로 인코딩한 뒤, 확산 모델이 시각 데이터와 텍스트 프롬프트를 기반 삼아 무작위 노이즈에서 점진적으로 오디오를 다듬어 갑니다. 마지막으로 이를 파형으로 디코딩해 영상과 합치는 형태입니다. 세부적인 소리 묘사와 대사 스크립트 등 대규모 주석 데이터를 학습에 활용했기 때문에, 긍정 및 부정 프롬프트를 통해 원하는 사운드를 유도하거나 원치 않는 소리를 걸러내는 제어도 가능합니다.

무성 필름 복원부터 립싱크의 한계까지

V2A는 Google의 최신 영상 생성 모델인 Veo와 결합해 사용할 수 있을 뿐 아니라, 옛 무성영화나 역사 기록물 같은 전통적인 무음 영상에도 사운드를 입힐 수 있습니다. 생성 횟수에 제한이 없어 사용자가 마음에 드는 조합이 나올 때까지 다양한 트랙을 뽑아볼 수 있습니다.

하지만 대중에게 정식 공개되기까지는 해결해야 할 과제가 뚜렷합니다.

우선 오디오 품질이 영상 화질에 크게 좌우됩니다. 입력 영상에 아티팩트나 왜곡이 있거나 학습 데이터 범위를 벗어난 장면이 들어오면 생성되는 오디오의 질도 눈에 띄게 떨어집니다.

대사 전달 시 발생하는 립싱크 불일치는 더 큰 걸림돌입니다. V2A는 대본을 바탕으로 음성을 생성하고 입 모양을 맞추려 시도하지만, 앞단에서 영상을 만든 모델이 해당 대사를 모른 채 입을 움직였다면 어색한 불일치가 발생해 불쾌한 골짜기를 유발합니다.

DeepMind는 악용을 막기 위해 생성된 모든 오디오에 SynthID 워터마크 기술을 적용했으며, 엄격한 안전성 평가를 거친 뒤 공개 여부를 검토하겠다고 밝혔습니다.

왜 중요한가

영상 생성 AI가 단순한 짧은 시각 효과를 넘어 실제 영상 콘텐츠 제작 도구로 진화하려면 오디오 자동화는 반드시 넘어야 할 관문입니다. 1인 창작자나 소규모 스튜디오 입장에서는 효과음 라이브러리를 뒤지고 싱크를 맞추는 지루한 후반 작업 시간을 획기적으로 줄일 수 있습니다.

우리는 프롬프트에만 의존하지 않고 원본 픽셀을 직접 읽어 음향을 생성하도록 설계한 DeepMind의 접근 방식이 매우 영리하다고 평가합니다. 수작업 싱크 맞추기를 생략할 수 있다는 점만으로도 실용성이 크게 높아집니다.

다만 영상과 오디오를 별도 파이프라인으로 처리하는 구조적 한계는 여전해 보입니다. 립싱크 문제에서 드러나듯, 영상을 렌더링하는 시점부터 발화 내용을 인식하지 못한다면 더빙을 덧씌운 어색한 인형극 느낌을 지우기 어렵습니다. 진정한 몰입감을 완성하려면 시각과 청각을 애초에 한 덩어리로 이해하는 통합 모델로의 전환이 다음 승부처가 될 것입니다.