샤오미, 음성·음악·환경음을 한 번에 합성하는 'MiDashengLM-Gen' 오픈소스 공개

샤오미 연구진이 오픈소스로 공개한 MiDashengLM-Gen은 복합 오디오 장면을 단 한 번의 추론으로 생성하는 프레임워크입니다. 음성, 배경음악, 효과음, 환경 소음을 따로 제작해 믹싱할 필요 없이, 구조화된 텍스트 설명만으로 16kHz 모노 오디오를 완성합니다.

어떤 기능을 제공하는가

입력 방식은 다각도 구조화 캡션을 활용합니다. 전체 장면 개요, 대사 스크립트, 음색과 감정, 효과음, 음악 설명, 주변 환경을 전용 토큰으로 구분해 입력하며, 특정 요소가 필요 없을 때는 알 수 없음으로 표시해 넘길 수 있습니다.

공개된 데모에서는 스탠드업 코미디언의 대사 직후 터져 나오는 관중의 환호와 경쾌한 재즈 팡파르가 한 장면에 어우러집니다. 자동차 엔진 공회전 소리를 배경으로 차 상태를 설명하는 남성 음성이나 잔잔한 기악 BGM 속에서 업무를 이야기하는 여성 음성도 자연스럽게 구현합니다.

다국어 지원과 감정 표현도 특징입니다. 예컨대 깊은 좌절감과 분노가 실린 중국어 발화를 감정에 맞춰 환경음과 함께 출력할 수 있습니다.

다만 음악 전용 특화 모델은 아닙니다. 단일 음악의 품질만 떼어놓고 본다면 최고 수준의 오픈소스 음악 전용 AI에는 미치지 못하지만, 음성과 배경 효과음을 하나의 음장 안에서 유기적으로 결합한다는 점에서 차별화됩니다.

아키텍처와 구동 환경

내부 구조는 자기회귀 LLM과 플로우 매칭 기술을 결합했습니다. DashengTokenizer가 추출한 768차원 잠재 벡터를 5Hz로 다운샘플링해 언어 모델에 전달합니다.

백본 모델은 풀 파인튜닝된 Qwen3-1.7B를 사용합니다. 여기에 16개 레이어의 Flow Matching DiT와 10단계 오일러 ODE 솔버가 붙어 사운드를 생성하며, 이진 분류 정지 헤드가 오디오 길이를 자동 조절합니다.

로컬 실행 장벽도 낮습니다. 전체 모델 가중치 파일 용량이 12GB 미만에 불과해 시중의 중급형 외장 GPU 환경에서도 무리 없이 돌아갑니다. 코드와 모델은 아파치 2.0 라이선스로 깃허브에 공개되어 있습니다.

왜 중요한가

인디 게임 개발자나 1인 영상 제작자에게 오디오 폴리 작업의 진입 장벽을 대폭 낮춰줍니다. 음성 생성기, 효과음 라이브러리, 배경음악 툴을 각각 오가며 수작업 믹싱을 거치지 않아도 한 줄의 장면 묘사로 기초 오디오를 뽑아낼 수 있습니다.

샤오미가 무리하게 파라미터를 키우는 대신 1.7B 백본 기반으로 전체 용량을 12GB 이내로 묶어낸 것은 매우 영리한 접근으로 보입니다. 고품질 단일 악곡 생성 경쟁에서 벗어나 일반 사용자의 로컬 하드웨어에서 바로 굴릴 수 있는 실용적인 오디오 씬 툴체인을 먼저 선점하려는 전략입니다.