엔비디아, 음성 생성 AI '푸가토' 공개…피아노 소리를 노랫소리로 변환

피아노로 친 간단한 멜로디가 텍스트 명령어 한 줄에 애절한 바이올린 연주나 사람의 노랫소리로 바뀝니다. 기차의 육중한 바퀴 소리가 점차 웅장한 오케스트라 합주로 변하고, 밝게 부른 노랫소리가 순식간에 분노에 찬 목소리로 뒤바뀌기도 합니다.

엔비디아가 새롭게 공개한 오디오 생성 AI 모델 푸가토(Fugatto, Foundational Generative Audio Transformer Opus 1)의 시연 장면입니다. 엔비디아는 이 모델을 두고 소리 분야의 스위스 아미 나이프이자 세상에서 가장 유연한 사운드 머신이라고 소개했습니다.

하지만 대단한 성능 시연과 달리, 일반 사용자는 물론 AI 개발자조차 당분간 이 모델을 직접 써볼 수는 없을 전망입니다. 엔비디아가 안전을 이유로 공개를 보류했기 때문입니다.

25억 개 매개변수가 만들어내는 소리의 연금술

기존 음악 생성 AI가 명령어에 맞춰 음악 전체를 무에서 유로 찍어내는 방식이었다면, 푸가토의 핵심은 기존 오디오를 정교하게 변형하는 능력에 있습니다.

음원에서 보컬만 깔끔하게 분리해내거나, MIDI 멜로디 입력을 사람의 보컬 샘플로 전환하고, 녹음된 목소리의 억양과 감정 상태를 자유자재로 수정할 수 있습니다. 완전히 다른 두 가지 음향 효과를 결합해 이전에 들어본 적 없는 독창적인 사운드스케이프를 합성하는 것도 가능합니다.

공개된 사양에 따르면 푸가토의 전체 모델 크기는 25억 개 매개변수 규모입니다. 엔비디아는 32대의 H100 텐서 코어 GPU로 구성된 DGX 시스템을 동원해 1년 이상 연구를 진행했습니다.

학습에는 수백만 개의 오픈소스 오디오 데이터가 사용되었습니다. 특히 한국, 인도, 브라질, 중국, 요르단 등 다양한 국적의 연구진이 협력하여 다국어 및 다양한 억양 처리 성능을 대폭 끌어올렸습니다.

엔비디아 응용 딥러닝 연구 부사장 브라이언 카탄자로는 로이터와의 인터뷰에서 지난 50년 동안 신시사이저가 음악 생태계를 바꾼 것처럼, 생성형 AI 역시 음악과 게임 제작, 일반 창작자들에게 전례 없는 창작 역량을 제공할 것이라고 강조했습니다.

뛰어난 기술력에도 출시를 멈춘 이유

이토록 다재다능한 도구를 완성하고도 엔비디아가 출시를 망설이는 배경에는 안전과 저작권 문제가 자리 잡고 있습니다.

카탄자로 부사장은 생성형 기술은 원치 않는 방향으로 악용될 위험이 항상 존재한다며, 대중에게 안전하게 공개할 수 있는 방안을 논의 중이기 때문에 즉각적인 출시 계획은 없다고 밝혔습니다.

음악 업계의 거센 저작권 소송 바람도 큰 부담입니다. 지난 6월 소니뮤직, 워너뮤직, 유니버설뮤직 등 대형 음반사들은 음악 생성 AI 스타트업 수노와 유디오를 상대로 대규모 저작권 침해 소송을 제기했습니다. 할리우드에서도 배우 스칼렛 요한슨이 오픈AI의 목소리 무단 복제 의혹을 제기하는 등 엔터테인먼트 업계의 반발이 극에 달한 상태입니다.

왜 중요한가

푸가토가 제시한 방향성은 생성형 오디오 기술의 초점이 완제품 음악 생성에서 정교한 편집 도구로 옮겨가고 있음을 보여줍니다.

그동안 텍스트로 노래를 뽑아내는 AI는 완성도를 예측하기 힘든 뽑기에 가까워 실제 프로 음악 작업에 쓰기 어려웠습니다. 반면 푸가토가 보여준 보컬 추출, 음색 변환, 감정 변조 기능은 디지털 오디오 워크스테이션(DAW)에서 가장 손이 많이 가던 편집 작업을 자연어 명령어로 해결해 줍니다. 악기를 다루지 못하는 창작자도 허밍이나 건반 연주를 풍성한 오케스트라 사운드로 바꿀 수 있는 길이 열린 셈입니다.

하지만 뛰어난 기술을 완성해 두고도 연구실 안에 가둬둘 수밖에 없는 현실은 빅테크 기업들이 처한 딜레마를 고스란히 드러냅니다. 엔비디아가 하드웨어 공급자를 넘어 자체 생성 모델을 내놓는 순간 직면하게 되는 법적 리스크를 피하기 위해 신중한 태도를 취한 것은 영리하지만, 창작자 입장에선 아쉬운 대목입니다.

우리가 보기에 일반 사용자가 푸가토를 당장 워크플로에 도입하기는 어려워 보입니다. 그럼에도 이번 발표는 차세대 음악 제작 소프트웨어가 나아갈 방향을 명확히 제시했다는 점에서 중요한 이정표가 될 것입니다.