메타, 텍스트로 음성과 효과음 만드는 Audiobox 공개

빗소리 트랙에 천둥소리를 자연스럽게 얹거나 평범한 목소리를 순식간에 성당 안에서 울려 퍼지는 소리로 바꾸는 작업은 원래 전문 사운드 엔지니어와 방대한 효과음 라이브러리가 필요한 일이었습니다.

Meta가 기존의 음성 생성 모델 Voicebox의 후속작인 Audiobox를 공개했습니다. 사람의 음성, 짧은 효과음, 배경 사운드스케이프의 생성과 편집을 단일 모델로 통합하고, 자연어 프롬프트를 통해 정밀하게 제어할 수 있도록 만든 것이 핵심입니다.

텍스트와 음성을 함께 넣는 듀얼 입력

Audiobox는 사용자가 일상적인 언어로 소리를 묘사해 생성할 수 있습니다. 예를 들어 "흐르는 강물과 새 지저귀는 소리"를 입력하면 배경 환경음이 만들어지고, "높은 톤에 빠른 속도로 말하는 젊은 여성"을 입력하면 이에 맞는 음성이 합성됩니다.

더 눈에 띄는 기능은 음성 샘플과 텍스트를 결합하는 듀얼 입력 방식입니다. 기존 음성 녹음본을 입력해 고유의 음색을 유지한 상태에서 "대성당 안에서" 또는 "슬프고 느리게 말함"과 같은 스타일 프롬프트를 더해 발화 환경이나 감정만 자유롭게 바꿀 수 있습니다.

Meta에 따르면 이러한 자유형 음성 스타일 변경을 지원하는 것은 업계 최초입니다. 자체 테스트 결과 음성 스타일 유사도 면에서 기존 Voicebox보다 30% 이상 향상되었으며, AudioLDM2, VoiceLDM, TANGO 등 기존 최고 수준의 모델들과 비교한 주관 평가에서도 품질과 텍스트 충실도 모두 크게 앞선 것으로 나타났습니다.

사운드 영역의 인페인팅, 오디오 인필링

기술적으로는 Voicebox의 Flow-matching 모델링 방식과 가이드 생성 목표를 그대로 계승해 오디오 인필링(Infilling) 기능을 제공합니다.

이미지 편집의 인페인팅처럼 기존 오디오 트랙의 일부분만 수정하거나 채워 넣을 수 있는 구조입니다. 예를 들어 비가 내리는 사운드스케이프의 원하는 지점에 다른 질감의 천둥소리를 자연스럽게 덧붙이는 작업이 가능합니다.

하지만 정교한 음성 복제와 합성 능력은 악용 우려가 큽니다. 이에 따라 Meta는 모델 가중치를 전체 공개하지 않고 음성 연구 실적이 있는 학술 기관 및 연구자에게만 연구 전용 라이선스로 제한 제공하기로 했습니다. 일반 이용자에게는 기능을 시험해볼 수 있는 대화형 웹 데모만 열어둔 상태입니다.

왜 중요한가

우리는 Audiobox가 복잡한 오디오 엔지니어링의 진입 장벽을 완전히 허물 수 있는 중요한 전환점이라고 봅니다.

인디 게임 개발자, 팟캐스터, 영상 제작자에게 원하는 효과음을 찾거나 성우를 섭외하고 믹싱하는 일은 늘 시간과 비용이 많이 드는 병목이었습니다. 자연어 명령만으로 목소리의 톤과 공간 음향, 배경 소음을 한 번에 디자인할 수 있다면 콘텐츠 제작 생태계 전반의 효율이 크게 올라갈 수밖에 없습니다.

특히 사람의 음성과 효과음, 환경음을 개별 모델로 쪼개지 않고 하나의 통일된 아키텍처로 묶어낸 Meta의 설계는 매우 영리합니다. 텍스트 프롬프트를 통해 믹싱 콘솔을 조작하듯 직관적인 제어가 가능해졌기 때문입니다.

그러나 특정 인물의 음색을 그대로 둔 채 주변 환경과 어조를 조작하는 기능은 딥페이크 음성 사기나 사칭 범죄에 악용될 위험이 매우 큽니다. Meta가 연구자 중심의 제한적 배포를 택한 것은 현실적인 안전장치이지만, 유사 기술이 오픈소스 진영으로 확산되는 것은 시간문제로 보입니다. 앞으로는 생성 기술 자체보다 위변조를 판별하고 워터마크를 추적하는 보안 기술의 중요성이 훨씬 더 커질 것입니다.