小米开源 MiDashengLM-Gen：一句话生成语音、音乐与音效混响的完整音频

小米团队开源的 MiDashengLM-Gen 是一个能一次性搞定整套音频的生成框架。你给它一段结构化描述，它不需要先生成人声再贴 BGM，而是在同一次推理里把台词、背景音乐、环境声和突发音效融成一条连贯的 16 kHz 单声道音频。

以往做播客片头、游戏对话或短剧音频，往往要在 TTS 跑一遍人声，去音效库搜环境白噪音，再找 AI 挑一段旋律，最后手动进剪辑轨道对齐。MiDashengLM-Gen 想解决的就是这种割裂感。

它能做什么

模型的输入采用多维度的结构化文本标签。你可以分别指定全局场景、台词内容、音色与情绪、音效、音乐描述以及环境声。如果场景里不需要某项元素，直接填上未知的占位符即可。

在公开的演示中，它既能生成脱口秀演员讲完笑话后引来全场哄堂大笑、紧接着切入欢快爵士乐的复合场景，也能模拟男性一边检查汽车一边伴随发动机怠速声，或是女律师在轻柔器乐背景音下阐述业务逻辑。

该模型还支持多语言和丰富的情感表达。比如用中文生成一段带着强烈挫败感与愤怒情绪的斥责声，人声的语调起伏与整体环境氛围能够自然咬合。

需要指出的是，它并不是一个纯粹的音乐生成器。如果单独拿它的旋律去和目前顶尖的开源音乐模型硬碰硬，在乐理复杂度与编曲质感上还有差距，但作为一个通用模型，能把乐器与环境音效整合同步输出，已经非常实用。

架构与硬件门槛

底层的实现思路是自回归大语言模型配合流匹配技术。模型首先通过 DashengTokenizer 把连续音频映射为 768 维潜变量，下采样至 5 Hz 后喂给语言模型。

文字理解与调度的主干是全量微调过的 Qwen3-1.7B。解码部分则交给一个 16 层、隐藏层维度 2048 的 Flow Matching DiT，搭配 10 步欧拉解算器进行快速推理，最后由一个二分类停止头自动判断音频截断时机。

对本地玩家来说，它的部署门槛相当亲民。模型全部权重与相关文件加起来不到 12 GB，一张常见的中端显卡就能跑得动。整套代码与权重以 Apache 2.0 协议开源，项目 GitHub 页面提供了完整的下载与运行流程。

为什么重要

对于做独立游戏、自媒体视频或者互动叙事的开发者来说，这个工具提供了一种极低成本的「音频分镜」工作流。你不再需要到处拼凑零碎的免版税音频切片，给一段场景提示词就能先打出一个完整的氛围样带。

我们认为，小米选择将音频模态统一在小型语言模型加流匹配的路径下，是当前端侧音频生成很务实的折中。它没有盲目堆大参数去拼单项音质，而是把体积卡在 12 GB 内做复合场景的一体化交付。如果后续推理速度和音质保真度能进一步拉高，这类多声轨一体的模型很可能会成为内容创作者本机的标配音效台。