Meta, 잠재 공간 건너뛰고 원본 파형서 직접 오디오 생성하는 WavFlow 공개

무음 영상에 AI로 효과음을 입히는 작업에서 Meta가 기존의 공식 하나를 정면으로 깨뜨렸습니다.

Meta는 새로운 오디오 모델 WavFlow를 공개했습니다. 기존 오디오 모델들은 연산 효율을 높이기 위해 소리를 잠재 공간(latent space)으로 압축한 뒤 생성하고, 이를 VAE로 다시 디코딩하는 방식을 주로 썼습니다. 하지만 WavFlow는 이 중간 과정을 완전히 건너뛰고 원본 파형 공간에서 직접 44.1kHz 고음질 오디오를 출력합니다. 이미지 분야로 치면 잠재 공간을 버리고 픽셀 공간에서 곧바로 그림을 그려내는 셈입니다.

파형을 잘라 2D 그리드로 다루다

원본 오디오 신호는 고차원이고 에너지가 고르지 않아 직접 학습하기가 매우 까다롭습니다. Meta는 파형을 조각내어 2차원 토큰 그리드로 재구성하고, 진폭을 보정해 신호 크기를 맞춘 뒤 플로우 매칭 기법으로 파형을 직접 예측하도록 만들었습니다.

텍스트와 영상, 오디오를 연결하는 중심에는 1.03B 파라미터 크기의 MMDiT 모델이 자리 잡고 있습니다. 여기에 정밀한 시간 동기화를 위해 500만 건의 고품질 비디오-텍스트-오디오 데이터를 자동으로 구축해 학습시켰습니다.

실제 영상을 넣어보면 사람이 드럼을 치거나 기타 코드를 바꿀 때 소리가 화면 동작과 거의 정확히 맞아떨어집니다. 벤치마크인 VGGSound에서 FD_PaSST 59.98, 싱크 오차(DeSync) 0.44를 기록하며 MM-Audio 같은 기존 잠재 공간 기반 모델을 대등하게 따라잡거나 넘어섰습니다.

하지만 한계도 분명합니다. 피아노 연주 영상에서는 완전히 무너졌습니다. 건반을 누르는 동작 자체는 감지하지만 어떤 건반이 어떤 음을 내야 하는지 전혀 이해하지 못해 엉뚱한 소리를 냅니다.

절반만 열린 깃허브 저장소

또 다른 걸림돌은 공개 범위입니다. Meta는 WavFlow의 깃허브 저장소를 열고 설치 가이드와 학습 스크립트를 공유했지만, 사내 정책을 이유로 완전한 상용 체크포인트는 공개하지 않는다고 밝혔습니다. 결국 외부 사용자가 손에 쥔 것은 뼈대뿐인 셈입니다.

왜 중요한가

영상 제작자에게 무음 클립에 효과음과 배경음을 자동으로 입히는 기능은 반복 노동을 줄여줄 매력적인 도구입니다. 타악기나 명확한 타격음에서는 뛰어난 동기화 능력을 입증했지만, 피아노처럼 정밀한 음정 인식이 필요한 영역에서는 아직 갈 길이 멉니다. 게다가 완전한 가중치가 빠져 있어 당장 워크플로에 도입하기는 어렵습니다.

그러나 기술적 관점에서 WavFlow의 시도는 매우 의미가 큽니다. 잠재 공간 압축은 그동안 계산량을 줄이는 필수 공식처럼 굳어졌지만 필연적으로 음질 손실을 남겼습니다. 저희는 WavFlow가 VAE 없이도 원본 파형에서 직접 뛰어난 음질과 동기화를 달성할 수 있음을 증명했다는 점에서, 향후 멀티모달 오디오 모델의 아키텍처 경쟁 구도를 다시 흔들 가능성이 높다고 봅니다.