메타, 텍스트로 음악과 음향 만드는 '오디오크래프트' 오픈소스 공개

AudioCraft는 텍스트 프롬프트를 입력해 고품질 음악과 사실적인 환경 음향 효과를 한곳에서 만들어낼 수 있는 메타의 오픈소스 오디오 생성 프레임워크다.

그동안 텍스트나 이미지 분야에 비해 오디오 생성 AI는 상대적으로 발전 속도가 더뎠다. 오디오는 미세한 음향 신호부터 여러 악기가 얽힌 전체 음악 구조까지 복잡한 패턴을 다뤄야 하기 때문이다. 기존에 나온 모델들도 구조가 지나치게 복잡하거나 폐쇄적이어서 외부 사용자가 직접 다루기 어려웠다.

메타는 여러 해 동안 연구해 온 오디오 생성 파이프라인을 AudioCraft라는 단일 코드베이스로 묶어내고, 코드와 사전 훈련된 가중치를 모두 외부에 공개했다.

무엇을 할 수 있나

AudioCraft는 음악, 음향 효과, 오디오 압축을 담당하는 세 가지 핵심 모델로 이루어져 있다.

첫 번째는 텍스트를 음악으로 바꿔주는 MusicGen이다. 메타 소유 음원과 별도 라이선스를 취득한 음악 데이터셋으로 훈련되어 텍스트 설명에 맞춰 일관성 있는 음악 멜로디를 만든다.

두 번째는 효과음을 생성하는 AudioGen이다. 이번에 사전 훈련 가중치가 정식 공개되었으며, 공개 음향 효과 데이터를 바탕으로 개 짖는 소리, 자동차 경적, 나무 바닥을 걷는 발소리 같은 일상적인 소리를 재현해 낸다.

세 번째는 전체 품질을 뒷받침하는 개선된 신경 오디오 코덱 EnCodec이다. 잡음과 왜곡을 줄인 개선된 디코더가 포함되어 이전보다 훨씬 선명하고 자연스러운 오디오 출력을 보장한다.

어떻게 활용할 수 있나

연구자와 개발자에게 AudioCraft가 매력적인 이유는 완전한 자유도를 제공하기 때문이다.

모든 모델의 코드와 가중치가 공개되어 있어 단순히 결과물을 뽑아보는 데 그치지 않고, 연구자가 자체 보유한 오디오 데이터셋을 사용해 직접 모델을 처음부터 훈련하거나 미세조정할 수 있다.

더 나은 음향 효과 생성기를 만들든, 고효율 오디오 압축 알고리즘을 개발하든 모두 동일한 코드베이스 안에서 기존 작업을 바탕으로 손쉽게 확장해 나갈 수 있다.

왜 중요한가

상용 생성 AI 도구들이 폐쇄적인 API 형태로 서비스되는 흐름 속에서, 메타는 음향 및 음악 생성의 핵심 기술을 오픈소스 진영에 통째로 넘겨주었다.

인디 게임 개발자나 영상 콘텐츠 크리에이터는 악기를 다루지 않고도 원하는 분위기의 배경음악이나 효과음 초안을 즉시 뽑아볼 수 있다. 메타는 향후 제어 기능이 더 정교해지면 과거 신시사이저가 처음 등장했을 때처럼 MusicGen이 완전히 새로운 형태의 악기가 될 수 있다고 본다.

오디오 기반 기술을 완전히 공개해 글로벌 개발자들의 기여를 이끌어내려는 메타의 전략은 영리해 보인다. 전문 사운드 디자이너 수준의 정밀한 후반 작업까지 대체하기에는 아직 프롬프트 제어의 한계가 있지만, 초기 브레인스토밍과 오디오 프로토타이핑 장벽을 크게 낮춘 것은 분명하다.