オープンソース音楽生成モデル「HeartMuLa」登場、歌詞と指示文からフル楽曲を一括生成

HeartMuLa は、曲調の指示文と歌詞を入力するだけで、ボーカルと伴奏が揃った完全な楽曲をローカル環境で丸ごと生成できる新しいオープンソース音楽基盤モデルです。

複数のツールを組み合わせて切り貼りする必要はなく、ワンストップでフル楽曲を出力できます。すでに 3B（30億パラメータ）バージョンの重みが公開されており、ファイルサイズは約 16GB です。関連コードとドキュメントは GitHub と Hugging Face に提供されており、論文も arXiv で閲覧可能です。

どうやって1曲を作り上げるのか

オープンソースの音楽生成はこれまで、音質がこもったり途中でメロディが崩壊したりする課題を抱えていました。HeartMuLa は4つの独立したモジュールを連携させることでこれを解決しています。

テキストと音声を結びつける HeartCLAP、堅牢な歌詞認識を行う HeartTranscriptor、そして 12.5Hz という超低フレームレートでありながら高音質を保つ HeartCodec です。このコーデックのおかげで、音楽の長い構造を崩さずに微細な音響情報を保持できます。

これらをまとめるのが LLM ベースの生成モデル HeartMuLa です。曲全体の生成だけでなく、イントロ、Aメロ、サビといったセクションごとに自然言語で指示を出し分ける細かな制御や、ショート動画向け BGM モードにも対応しています。

実際のクオリティと弱点

実測や公開データによると、HeartMuLa の最大の強みはメロディの一貫性とボーカルのクリアさです。主旋律をしっかり記憶できるため、Aメロとサビで破綻せずに同じモチーフを維持できます。

対応言語は英語、中国語、日本語、韓国語、スペイン語など幅広くカバーしています。歌詞の追従性テストでは商用モデルの Suno V5 を上回る精度を記録し、全体的な音質もトップレベルの商用サービスに迫っています。

ただし弱点もあります。歌詞の文字数や構成が極端に非対称だと、サビをやたらと引き伸ばしてしまい、後半のリズムが乱れる現象が起きやすくなります。歌詞を入力する際は、ある程度整った構成を意識する必要があります。

ハードウェア面では、約 16GB の重みを動かすために大容量 VRAM を備えた GPU が必要です。さらに高品質な 7B バージョンも近日登場する予定です。

なぜ重要か

音楽クリエイターや個人開発者にとって、HeartMuLa は Suno のような有料の商用 API に依存せず、ローカル環境で高品質な楽曲生成パイプラインを持てる大きな転換点になります。

研究規模のリソースであっても、商用レベルの音楽生成システムを再現できることが証明されました。独自のデータで追加学習させたり、ゲームや映像の BGM 生成に組み込んだりしたい人にとって、今すぐ GitHub から試す価値のあるモデルです。