음성·음향·음악 생성을 하나로 합친 오픈소스 오디오 모델 'UniAudio 2.0' 공개

영상이나 게임에 필요한 사운드를 만들려면 보통 서너 개의 서로 다른 AI 도구를 오가야 했습니다. 음성 합성으로 내레이션을 뽑고, 다른 도구에서 효과음을 찾은 뒤, 또 다른 음악 생성 모델로 배경음을 만드는 식이었습니다.

UniAudio 2.0 은 이 번거로운 과정을 하나의 모델로 해결하려 합니다. 2026년 2월 4일 오픈소스로 공개된 UniAudio 2.0 은 텍스트 음성 변환(TTS), 음향 효과 생성, 음악 합성, 음성 스타일 편집을 하나의 자기회귀(Autoregressive) 아키텍처에 모조리 통합했습니다. 소스 코드와 모델 가중치는 GitHub에 이미 올라와 있습니다.

소리를 '이해용'과 '복원용'으로 쪼개다

그동안 단일 오디오 모델 구축이 어려웠던 이유는 음성의 이해와 고음질 생성이 서로 다른 길을 걸었기 때문입니다. 텍스트와 잘 맞아떨어지는 언어적 토큰을 쓰면 파형 복원 품질이 떨어지고, 반대로 고음질 코덱을 쓰면 텍스트 기반의 의미적 추론이 제대로 작동하지 않았습니다.

UniAudio 2.0 은 'ReasoningCodec'이라는 독자적인 이산 오디오 코덱으로 이 문제를 풀었습니다. 오디오 신호를 텍스트와 정렬되어 고차원 분석과 계획을 담당하는 '추론 토큰'과, 미세한 음향 디테일을 보존해 파형을 살려내는 '재구성 토큰'으로 분리해 처리하는 방식입니다.

연구팀은 이 아키텍처 위에 1000억(100B) 개의 텍스트 토큰과 600억(60B) 개의 오디오 토큰을 학습시켰습니다. 멀티 스테이지 및 멀티 태스크 학습을 거쳐 사전 학습에 없던 작업에서도 준수한 제로샷 성능을 발휘하도록 설계했습니다.

광둥어 낭독부터 펀자브 민요까지

공개된 데모를 살펴보면 모델이 소화하는 영역이 무척이나 넓습니다.

기본적인 TTS 기능에서는 영어와 중국어 표준어는 물론 광둥어 발음까지 자연스럽게 구현합니다.

효과음 생성의 경우 '환호하고 박수치는 군중'이나 '타이어 마찰음을 내며 급정거하는 레이싱카' 같은 텍스트 묘사를 입력하면 상황에 꼭 맞는 사운드를 즉시 만들어냅니다.

음악 생성 능력도 갖췄습니다. 펀자브 민요, 아랍 댄스곡, 글라스 하프 연주곡 등 독특한 장르의 배경음악을 지시어에 맞춰 작곡하며, 가사를 입력하면 박자에 맞춰 직접 노래를 부르기도 합니다.

또 다른 특징은 InstructTTS 기능입니다. 평범한 대화 음성에 프롬프트로 지시를 내리면 즉석에서 은밀한 '속삭임' 톤으로 바꾸거나, 격앙된 '고함' 톤으로 발화 스타일을 바꿀 수 있습니다.

물론 한계는 뚜렷합니다. 음악 생성 품질은 아직 거칠고, 일부 가사 생성 구간에서는 뭉개지는 소리가 나며, 고함 지르는 톤의 표현력도 완벽하지는 않습니다. 하지만 파편화되어 있던 온갖 사운드 생성 능력을 단일 파이프라인에서 오류 없이 구현해 냈다는 점은 인상적입니다.

왜 중요한가

개발자와 1인 창작자 입장에서 단일 모델의 등장은 실질적인 워크플로 혁신을 의미합니다. TTS, 효과음, 음악을 위해 거대한 전문 모델 3종을 각각 로컬에 띄우고 서빙하는 일은 엄청난 리소스를 소모합니다. UniAudio 2.0 은 비록 상용 음원 수준의 완벽함은 아닐지라도, 프로토타입 개발이나 인디 콘텐츠 제작 비용을 획기적으로 낮출 수 있는 실마리를 제공합니다.

오디오 AI 생태계 차원에서도 의미가 큽니다. 그간 학계와 산업계는 음성, 효과음, 음악을 서로 다른 기술 스택으로 나눠서 접근해 왔습니다. 하지만 UniAudio 2.0 은 적절한 토큰 분해 기법만 갖춰진다면 텍스트 LLM과 동일한 자기회귀 모델 하나로 전 영역의 오디오를 다룰 수 있음을 입증했습니다.

우리는 이 모델의 핵심 가치가 복합 기능 그 자체보다 ReasoningCodec 설계에 있다고 봅니다. 의미 추론과 음향 복원을 분리한 이 방식은 향후 범용 오디오 파운데이션 모델이 음질을 깎아먹지 않고 성능을 확장하는 표준 규격으로 자리 잡을 가능성이 높습니다.