텐센트, 음성 편집 모델 'AuK' 오픈소스 공개: 텍스트 고치듯 음성 수정

AuK는 텍스트 문서의 오탈자를 고치듯 자연어 명령어로 기존 음성의 단어와 감정을 손쉽게 수정할 수 있는 텐센트의 1.5B 음성 생성 및 편집 기반 모델입니다.

단순 음성 생성을 넘어 미세 편집과 노이즈 제거까지 하나의 프롬프트 인터페이스로 통합했으며, 코드와 가중치가 모두 오픈소스로 공개되었습니다. 고품질 생성을 위한 기본 모델 AuK와 4단계 고속 추론에 최적화된 증류 모델 AuK-Flash로 나뉩니다.

무엇을 할 수 있는가

기존 음성 모델이 주로 텍스트를 음성으로 바꾸는 데 집중했다면, AuK의 핵심 강점은 이미 녹음된 오디오를 직접 다듬는 데 있습니다.

첫 번째는 발화 내용 편집입니다. 녹음 도중 단어를 잘못 말했다면 다시 녹음할 필요 없이, 오디오와 함께 지시문을 입력해 특정 단어를 바꾸거나 문장을 삭제하고 새로운 내용을 끼워 넣을 수 있습니다. 화자의 음색과 어조를 그대로 유지하며 자연스럽게 연결됩니다.

두 번째는 감정과 음향 조절입니다. 평범하게 읽은 문장을 슬프거나 화난 톤으로 바꾸고, 일반 발성을 속삭이는 소리로 전환할 수 있습니다. 피치, 속도, 볼륨 조절은 물론 억양을 완화하거나 웃음소리, 호흡음, 기침 소리를 넣고 빼는 세밀한 제어도 지원합니다.

세 번째는 음질 개선과 음원 분리입니다. 잡음과 울림이 심한 오디오에서 주변 소음을 지우고 목소리만 깨끗하게 복원할 수 있습니다. 음악 믹스에서 보컬만 추출하거나, 여러 사람이 섞여 말하는 상황에서 특정 화자의 음성만 분리해 내는 것도 가능합니다.

여기에 몇 초 분량의 샘플로 목소리를 따라 하는 제로샷 음성 복제와, 참조 음성 없이 텍스트 설명만으로 원하는 톤의 음성을 만드는 기능도 기본 지원합니다.

실행 방법과 요구 사양

AuK는 디퓨전 트랜스포머와 Qwen2.5-Omni-3B 멀티모달 인코더를 결합해 작동합니다. 자연어 명령을 손쉽게 실행할 수 있도록 일상적인 요청을 최적화된 명령어로 변환해 주는 Prompt Enhancer 도구도 함께 제공됩니다.

모델 크기는 약 6GB 수준으로 비교적 가볍습니다. 인코더 메모리 최적화를 통해 약 7.5 GiB의 메모리를 절감했으며, CPU 오프로드 기능을 켜면 최대 VRAM 사용량을 약 25 GiB에서 17 GiB 선으로 낮출 수 있어 일반 데스크톱용 GPU에서도 실행 가능합니다.

생태계 지원도 충실합니다. Gradio 웹 UI와 ComfyUI 노드는 물론, audio.cpp 기반 GGUF 오프라인 추론, 애플 실리콘을 위한 MLX, 서버 배포를 위한 vLLM-Omni와 SGLang-Omni를 지원합니다. 로컬 설치가 번거롭다면 허깅페이스나 모델스코프의 온라인 데모에서 바로 사용해 볼 수 있습니다.

왜 중요한가

팟캐스트 진행자, 영상 크리에이터, 더빙 작업자에게 AuK는 제작 방식을 크게 바꿀 도구입니다. 한두 단어 때문에 성우를 다시 불러 재녹음하던 비효율을 텍스트 지시 한 줄로 해결할 수 있기 때문입니다. 음성 편집 작업을 자주 한다면 지금 바로 테스트해 볼 가치가 충분합니다.

음성 생성, 잡음 제거, 보컬 분리, 구간 편집을 개별 도구로 쪼개지 않고 1.5B 크기의 단일 모델로 통합한 점은 기술적으로 매우 현명한 선택입니다. 복잡한 문맥에서 연결 부위가 미세하게 어색해지는 한계는 일부 존재할 것으로 보이지만, 오픈소스 생태계에 등장한 다기능 오디오 모델로서 매우 뛰어난 완성도를 보여줍니다.