オープンソース音楽モデル「YuE2-3B」登場：楽譜を挟んで編集可能、Sunoに迫る品質

オープンソース研究グループの m-a-p が、ボーカルと伴奏を含む完全な楽曲を生成できるオープンソース音楽モデル「YuE2-3B」を公開しました。

従来の AI 音楽生成ツールは、テキストプロンプトを入力して完成音源を一発で出力するガチャのような仕組みが主流でした。思い通りのメロディにならない場合はプロンプトを書き直して祈るしかありません。YuE2 はアプローチを変え、プロンプトからいきなり音声波形を作るのではなく、まず ABC 記法による編集可能な楽譜（メロディ、コード進行、リズム構成）を生成し、その計画に基づいて最終音源をレンダリングします。

何ができるのか

歌詞とスタイルプロンプトを渡すだけで、ボーカルと伴奏が揃ったフルレングスのステレオ楽曲を生成できます。

最大の特徴は、途中に挟まる楽譜データを人間やエージェントが自由に編集できる点です。コード進行を変えたり、サックスソロを差し込んだり、テンポや歌詞の一部を修正してから再レンダリングさせることができます。

カバー曲の制作にも対応しています。SheetSage2 などの文字起こしツールで既存曲の主旋律を楽譜化し、それを YuE2 に渡して別ジャンルのプロンプトを指定すれば、例えばジングルベルをヘヴィメタルに、あるいはポップス曲をジャズファンクに再構成するといった作業が可能です。

公式デモでは、AI エージェントと 9 ステップ・14 バージョンにわたる対話を重ね、中国語ポップスを英語の本格的なモダンジャズへアレンジしていく過程も公開されています。

動作環境とベンチマーク

アーキテクチャには AR・NAR 混合の Mixture-of-Transformers を採用し、楽譜とセマンティックトークンを書き出してからフローマッチングと VAE を通じて 48 kHz ステレオ音源を出力します。

ベンチマークの WildSongBench では、YuE2（best-of-8）の平均スコアが 6.9632 を記録しました。これはオープンソースの MiniMax Music 3 や ACE-Step 1.5 を上回るだけでなく、商用大手の Suno v5（6.8721）や Suno v6（6.5562）を凌ぐ水準です。

動作環境は、量子化なしの状態で 24GB の VRAM を備えた NVIDIA GPU（RTX 4090 など）が推奨されます。RTX 4090 では 3.6 分の楽曲を約 71 秒で生成でき、ピーク時の VRAM 使用量は約 11.2 GiB に収まります。

コードと重みは Hugging Face の m-a-p/YuE2-3B リポジトリで配布されており、pip 経由ですぐに利用できます。環境を用意せずに聴き比べたい人向けに、アカウント登録不要のブラインド試聴アリーナも用意されています。

なぜ重要か

DTM を行うクリエイターやゲーム開発者にとって、音楽生成が「やり直しの効かないブラックボックス」から「楽譜を直接いじれる制作支援ツール」に変わった意義は非常に大きいです。楽理の知識があれば自分で音符を直せますし、知識がなくても LLM エージェントに修正を依頼できます。

商用モデルが囲い込みを進める中、Suno の最新版に迫る音質を単一のコンシューマー向け GPU でローカル動作させ、楽譜レベルの制御性まで開放した点は、オープンソース界隈における極めて実用的な前進だと考えられます。24GB クラスのグラフィックボードを持っているなら、試してみる価値は十分にあります。