小米開源 MiDashengLM-Gen：一句話生成語音、音樂與音效混響的完整音訊

小米團隊開源的 MiDashengLM-Gen 是一個能一次性搞定整套音訊的生成框架。你給它一段結構化描述，它不需要先生成人聲再貼 BGM，而是在同一次推理裡把臺詞、背景音樂、環境聲和突發音效融成一條連貫的 16 kHz 單聲道音訊。

以往做播客片頭、遊戲對話或短劇音訊，往往要在 TTS 跑一遍人聲，去音效庫搜環境白噪音，再找 AI 挑一段旋律，最後手動進剪輯軌道對齊。MiDashengLM-Gen 想解決的就是這種割裂感。

它能做什麼

模型的輸入採用多維度的結構化文本標籤。你可以分別指定全域性場景、臺詞內容、音色與情緒、音效、音樂描述以及環境聲。如果場景裡不需要某項元素，直接填上未知的佔位符即可。

在公開的演示中，它既能生成脫口秀演員講完笑話後引來全場鬨堂大笑、緊接著切入歡快爵士樂的複合場景，也能模擬男性一邊檢查汽車一邊伴隨發動機怠速聲，或是女律師在輕柔器樂背景音下闡述業務邏輯。

該模型還支援多語言和豐富的情感表達。比如用中文生成一段帶著強烈挫敗感與憤怒情緒的斥責聲，人聲的語調起伏與整體環境氛圍能夠自然咬合。

需要指出的是，它並不是一個純粹的音樂生成器。如果單獨拿它的旋律去和目前頂尖的開源音樂模型硬碰硬，在樂理複雜度與編曲質感上還有差距，但作為一個通用模型，能把樂器與環境音效整合同步輸出，已經非常實用。

架構與硬體門檻

底層的實現思路是自迴歸大語言模型配合流匹配技術。模型首先通過 DashengTokenizer 把連續音訊對映為 768 維潛變數，下采樣至 5 Hz 後餵給語言模型。

文字理解與排程的主幹是全量微調過的 Qwen3-1.7B。解碼部分則交給一個 16 層、隱藏層維度 2048 的 Flow Matching DiT，搭配 10 步尤拉解算器進行快速推理，最後由一個二分類停止頭自動判斷音訊截斷時機。

對本地玩家來說，它的部署門檻相當親民。模型全部權重與相關檔案加起來不到 12 GB，一張常見的中端顯示卡就能跑得動。整套程式碼與權重以 Apache 2.0 協議開源，專案 GitHub 頁面提供了完整的下載與執行流程。

為什麼重要

對於做獨立遊戲、自媒體影片或者互動敘事的開發者來說，這個工具提供了一種極低成本的「音訊分鏡」工作流。你不再需要到處拼湊零碎的免版稅音訊切片，給一段場景提示詞就能先打出一個完整的氛圍樣帶。

我們認為，小米選擇將音訊模態統一在小型語言模型加流匹配的路徑下，是當前端側音訊生成很務實的折中。它沒有盲目堆大引數去拼單項音質，而是把體積卡在 12 GB 內做複合場景的一體化交付。如果後續推理速度和音質保真度能進一步拉高，這類多聲軌一體的模型很可能會成為內容創作者本機的標配音效臺。