메타, 텍스트로 음악과 음향 만드는 '오디오크래프트' 오픈소스 공개
메타가 텍스트 프롬프트로 음악과 음향 효과를 생성하는 오디오 모델 패키지 'AudioCraft'의 코드와 가중치를 전면 오픈소스로 공개했다. 음악 생성기 MusicGen, 효과음 생성 모델 AudioGen, 개선된 EnCodec 디코더가 하나로 묶여 누구나 자체 데이터셋으로 훈련할 수 있다.
MusicGen
허깅페이스, 오픈소스 모델로 24시간 자동 방송하는 'AI WebTV' 공개
허깅페이스가 영상 및 음원 자동 생성을 시연하는 실험 프로젝트 'AI WebTV'를 공개했다. ChatGPT로 프롬프트를 확장하고 오픈소스 모델 Zeroscope V2로 영상 생성, FILM 보간 및 MusicGen 음악 합성을 거쳐 FFmpeg로 실시간 송출한다. 아직 품질 한계는 있지만 완전 자동화된 오픈소스 멀티모달 방송 파이프라인의 가능성을 입증했다.
메타, 텍스트와 멜로디로 음악 만드는 '뮤직젠' 공개
메타가 텍스트 프롬프트나 멜로디 입력을 바탕으로 음악을 생성하는 AI 모델 '뮤직젠(MusicGen)'을 공개했다. 2만 시간 분량의 음악과 악기 샘플로 훈련되어 콧노래만으로도 트랙을 만들어낼 수 있다. 누구나 음악을 만들 수 있는 길이 열렸지만, 음반 업계와의 저작권 분쟁도 예상된다.