Xiaomiが「MiDashengLM-Gen」を公開：音声・音楽・環境音をまとめて一括生成

Xiaomiの研究チームがオープンソース化した「MiDashengLM-Gen」は、テキスト指示からオーディオシーン全体を一度に合成できる統合生成フレームワークです。声のナレーション、BGM、効果音、環境ノイズを別々に書き出して後から波形編集ソフトで重ねる必要がなく、1回の推論でまとまりのある16kHzモノラル音声を直接出力します。

何ができるか

プロンプトの入力には、複数の視点を構造化した専用トークンを用います。全体の情景、話すセリフ、声質や感情、効果音、音楽のニュアンス、周囲の環境音をそれぞれ個別に指定でき、不要な要素はunknownタグで省略可能です。

公開されたデモでは、コメディアンのジョークに続く観客の爆笑とジャズバンドのジングルが一体となった音源や、車のアイドリング音を背景に男性が車両状態を説明する場面、器楽BGMに乗せて女性が語るシーンなどが確認できます。

感情表現やマルチリンガルにも対応しており、たとえば強い苛立ちや怒りを込めた中国語の発話も自然な空気感とともに再現します。

なお、本モデルは純粋な音楽生成専用器ではありません。単体の楽曲クオリティだけで見れば既存のオープンソース音楽特化モデルには及びませんが、ナレーションと環境音、BGMを破綻なく同じタイムラインに溶け込ませられる点が大きな強みです。

アーキテクチャと動作環境

仕組みとしては、自己回帰型の大規模言語モデルとFlow Matching技術を組み合わせています。音声はまずDashengTokenizerで768次元の潜在表現に変換され、プロジェクターで5Hzにダウンサンプリングされてから言語モデルに渡されます。

バックボーンには完全ファインチューン済みのQwen3-1.7Bを採用。生成部は16層のFlow Matching DiTと10ステップのオイラーODEソルバーで構成され、学習済みの判定ヘッドによって自然な長さで自動切り分けされます。

ローカル環境での導入ハードルは低く抑えられています。全モデルファイルのサイズは12GB未満で、中堅クラスの一般的なGPUがあれば十分動作します。コードと重みはApache 2.0ライセンスでGitHub上に公開されています。

なぜ重要か

インディーゲーム開発者や動画クリエイターにとって、シーンごとの音響スケッチを一瞬で形にできる作業環境は実用的です。効果音ライブラリを何時間も探したり、複数の生成ツールをハシゴしたりする手間を大きく減らせます。

Xiaomiが1.7B規模の軽量な言語モデルを土台に据え、ファイルサイズを12GB未満に収めた判断は現実的だと評価できます。突出した音楽品質を追求する代わりに、日常的なハードウェアで複合オーディオが即座に出る実用性を優先した構成であり、デスクトップ制作環境における有力な標準ツールになり得るポテンシャルを持っています。