LongCat Audio Edit 공개: 몇 초 분량 음성으로 초정밀 보이스 클로닝

누군가의 목소리를 복제하려면 스튜디오급 고음질 녹음본과 수 시간의 미세 조정이 필요하던 시절이 있었습니다. 하지만 이제 그 진입 장벽이 완전히 허물어지고 있습니다.

개발팀은 오픈소스 음성 합성 및 복제 모델인 LongCat Audio Edit(논문명 LongCat-AudioDiT)을 공개했습니다. 단 몇 초 분량의 일상 음성 클립만 주어지면, 말하는 사람의 음색과 고유한 억양까지 그대로 학습해 새로운 문장을 자연스럽게 읽어냅니다.

몇 초 샘플로 10초 만에 끝나는 음성 복제

현재 누구나 테스트해 볼 수 있는 무료 Hugging Face Space가 열려 있습니다. 작동 방식은 간단합니다. 몇 초짜리 원본 음성을 업로드하고 해당 스크립트를 입력한 뒤, 읽히고 싶은 새로운 텍스트를 적어 생성을 누르면 됩니다.

실제 시연 성능은 매우 인상적입니다. 특유의 사투리가 섞인 호주 남성의 음성이나 강한 억양의 인도 여성 목소리를 넣었을 때, 약 10초 만에 새 음성이 생성됐습니다. 음색뿐 아니라 말끝의 미묘한 높낮이와 분위기까지 정교하게 재현해 냅니다.

모델은 두 가지 크기로 배포됐습니다. 35억 파라미터 기반의 고품질 플래그십 버전은 파일 크기가 약 15.3GB이며, 효율성을 중시한 경량 버전은 약 6GB 크기입니다. 6GB 모델은 일반 소비자용 GPU에서도 무리 없이 로컬 구동이 가능합니다. 코드와 가중치 모두 공개되어 누구나 내려받을 수 있습니다.

멜 스펙트로그램을 건너뛴 잠재 파형 생성

이 같은 성능 뒤에는 과감한 아키텍처 단순화가 있습니다. 기존의 확산 기반 음성 모델들은 대부분 멜 스펙트로그램 같은 중간 음향 표征을 거치기 때문에 단계가 지날수록 오차가 누적되는 고질적 한계가 있었습니다.

LongCat 연구진은 중간 단계를 건너뛰고 파형 잠재 공간(Waveform Latent Space)에서 바로 작동하는 비자기회귀 확산 방식을 택했습니다. 구조를 파형 변이형 오토인코더(Wav-VAE)와 확산 백본 둘만으로 단순화해 오차 발생을 원천 차단했습니다. 여기에 학습과 추론 간의 불일치를 바로잡고 적응형 투영 가이던스를 도입했습니다.

그 결과 대표적인 제로샷 음성 복제 벤치마크인 Seed 테스트에서 3.5B 모델이 기존 최고 모델인 Seed-TTS를 앞질렀습니다. 화자 유사도(SIM) 점수가 Seed-ZH에서는 0.809에서 0.818로, 고난도 평가인 Seed-Hard에서는 0.776에서 0.797로 상승했습니다.

왜 중요한가

콘텐츠 제작자와 독립 개발자에게 이번 릴리스는 실질적인 무기가 됩니다. 비싼 상용 API 비용을 치르거나 민감한 오디오 데이터를 외부에 보낼 필요 없이, 6GB 수준의 일반 그래픽카드만 있으면 로컬 PC에서 즉시 고품질 다국어 더빙이나 가상 캐릭터 보이스 파이프라인을 구축할 수 있습니다.

음성 AI 업계 전반에도 던지는 메시지가 큽니다. 값비싼 수작업 라벨링 데이터나 복잡한 다단계 파이프라인에 매달리지 않더라도, 잠재 공간 설계와 가이던스만 정교하게 다듬으면 최고 수준의 음질을 뽑아낼 수 있음을 증명했기 때문입니다. 경쟁사들도 중간 표현을 걷어내는 방향으로 선회할 가능성이 높습니다.

다만 누구나 짧은 통화 녹음 조각만으로 타인의 목소리를 완벽에 가깝게 복제할 수 있게 된 만큼, 음성 피싱과 사칭 범죄에 대한 방어 난이도는 한층 높아졌습니다. 오픈소스 혁신과는 별개로 위변조 탐지와 워터마크 기술 확보가 시급한 과제로 떠올랐습니다.