라이트릭스, 다중 화자 오디오 장면 생성 모델 ScenA 공개: 프롬프트 하나로 겹쳐 말하기까지 구현

지금까지의 AI 대화 음성은 마치 방음 부스 안에서 두 사람이 번갈아 대본을 낭독하는 듯한 어색함을 지우기 어려웠습니다. 현실의 대화에서 흔히 발생하는 말 끊기, 웃음 참기, 빗소리나 카페 소음 같은 배경 질감을 자연스럽게 담아내지 못했기 때문입니다.

라이트릭스와 텔아비브 대학교가 공개한 오디오 생성 모델 ScenA는 이러한 한계를 정면으로 돌파합니다. 자유로운 형식의 텍스트 프롬프트와 참조 음성 클립 몇 개만 입력하면, 최대 20초 분량의 완전한 오디오 장면을 한 번에 생성해 냅니다.

스튜디오 녹음에서 벗어나 현실의 소음 속으로

기존의 다중 화자 음성 시스템은 대화 턴마다 스피커 태그를 붙이고 정제된 음성 스트림을 따로 추출하는 복잡한 파이프라인에 의존했습니다. 그렇게 만든 깨끗한 목소리에 나중에 효과음을 덧입히는 방식이다 보니 현장감이 떨어질 수밖에 없었습니다.

ScenA는 대규모 야생 데이터로 사전 학습된 Flow-matching 오디오 파운데이션 모델을 활용합니다. 참조 음성의 잠재 토큰을 시퀀스에 직접 연결하고, 화자 식별 위치 인코딩을 적용해 대화의 턴 구조 없이도 화자를 구분해 냅니다.

이 방식을 통해 방 안의 울림, 배경 소음, 감정 섞인 한숨, 서로 겹쳐서 말하는 대화가 단 한 번의 추론으로 자연스럽게 어우러집니다. 비바람이 몰아치는 야외에서 소리를 지르거나, 심각한 상황에서 웃음을 터뜨리는 연출도 매끄럽게 소화합니다. 심지어 참조 음성을 한 명만 제공하고, 다른 화자는 프롬프트에 묘사된 텍스트만으로 생성해 대화를 나누게 할 수도 있습니다. 참조 화자는 최대 3명까지 지원합니다.

프롬프트를 건너뛰는 ‘지름길’ 차단하기

하지만 이 과정에서 연구진은 모델이 꼼수를 부리는 ‘참조 지름길(Reference Shortcut)’ 문제에 직면했습니다.

일반적인 노이즈 환경에서 학습을 진행하면, 모델이 텍스트 프롬프트의 지시를 읽는 대신 타깃 오디오와 참조 음성의 음향적 유사도만 비교해 화자를 배정해 버리는 현상이 나타났습니다.

연구진은 고노이즈에 편향된 타임스텝 분포를 적용해 이를 해결했습니다. 음향적 단서를 강한 노이즈로 덮어버림으로써, 모델이 반드시 텍스트 프롬프트를 읽고 맥락에 따라 화자를 할당하도록 강제한 것입니다. 그 결과 CoVoMix2-Dialogue 벤치마크에서 ZipVoice-Dialog, MOSS-TTSD 같은 기존 시스템을 음성 정렬 및 할당 정확도에서 앞섰습니다.

왜 중요한가

인디 게임 개발자, 팟캐스트 제작자, 숏폼 크리에이터에게 ScenA는 매우 강력한 도구가 될 수 있습니다. 지금까지는 배경 대화 하나를 만들려고 해도 각 성우의 음성을 따로 따서 믹싱하고 공간 음향과 배경음을 일일이 합성해야 했습니다. 이제는 상황 묘사 한 줄로 그럴듯한 오디오 프로토타입을 순식간에 얻을 수 있습니다.

업계 관점에서는 단순한 텍스트 음성 변환(TTS)을 넘어, 대화와 환경을 하나의 유기적인 장면으로 묶어내는 ‘오디오 씬 생성’으로의 패러다임 전환을 보여줍니다. 음성과 효과음의 경계를 허문 셈입니다.

우리는 복잡한 스크립트 구조를 걷어내고 범용 오디오 모델의 잠재력을 끌어낸 이들의 접근이 매우 영리하다고 평가합니다. 다만 현재 공개된 결과물은 20초 안팎의 짧은 장면에 집중되어 있습니다. 1분이 넘어가는 긴 서사에서도 화자의 톤이 흔들리지 않고 일관성을 유지할 수 있을지가 실제 상용화의 핵심 열쇠가 될 것입니다.