MireloとKyutaiが「MuScriptor」公開：楽曲全体から各楽器のMIDIを直接抽出

MuScriptorは、MireloとKyutaiが共同で開発・オープンソース化したマルチ楽器対応の音声MIDI変換モデルです。完成版の楽曲音源をそのまま読み込ませるだけで、ボーカル、ドラム、ベース、鍵盤といった楽器パートを自動判別し、それぞれ独立したMIDIトラックとして抽出できます。

これまでの音声MIDI変換ツールは、単一のボーカルやピアノのソロ演奏など、単音・単一パートの音源を処理するのが一般的でした。複数の楽器が混ざり合い、エフェクトがかかった密度の高い市販楽曲をそのままMIDI化しようとすると破綻しやすかったのが実情です。MuScriptorは事前にステム（パートごとの分離音源）を用意することなく、フルミックスから直接すべての楽器を同時に書き起こすことを目指して作られました。

できること

ユーザーはWAVやMP3などの楽曲ファイルをアップロードするだけで利用できます。

モデルは音源に含まれる楽器を判別し、各パートに分かれたMIDIトラックを書き出します。抽出したトラックをDAW（音楽制作ソフト）に持ち込んで音色を差し替えたりリミックスを作ったりできるほか、楽器練習用の楽譜として出力することも可能です。

音符のタイミングや音高だけでなく、コード進行、キー（調性）、テンポも検出できるため、楽曲全体の音楽的コンテクストを把握するのにも役立ちます。

仕組みと精度

MuScriptorは、音楽の文字起こしを言語モデルのタスクとして捉えるデコーダーオンリーのTransformer構成を採用しています。

5秒ごとの音声をメルスペクトログラムに変換して条件付けとして入力し、音高、タイミング、楽器種別を表現するトークン列を自己回帰的に生成します。複数楽器の転記で最大の壁となるのが、正確な正解ノートが付与された音源データの不足です。開発チームは合成データによる事前学習（DSynth）、実音源によるファインチューニング（DReal）、強化学習による事後学習（DRL）という3段階のアプローチをとりました。

チームによれば、合成データだけでも従来の最先端モデルであるYourMT3+に匹敵する性能を示し、実音源での微調整によって各評価指標がおよそ20ポイント向上しました。さらに強化学習を重ねることで最も高い精度を達成したとしています。特定の楽器編成に合わせて出力を調整できる機能も備えています。

入手方法と試し方

推論コードはGitHubで、モデルの重みはHugging Faceで公開されており、論文もarXivで読むことができます。

ローカル環境の構築を行わずにすぐ試したい場合は、より大量のデータで訓練された高精度版がMirelo Studio上で無料提供されており、ブラウザ上からフルミックス音源のMIDI変換を試すことができます。

なぜ重要か

楽曲の耳コピやリミックスを行うトラックメイカーにとって、混ざり合った音源から各パートのノートを一括抽出できる恩恵は非常に大きいです。ステム分離ツールと単音MIDI変換を何重にも組み合わせる手間が省け、楽曲分析や制作の初動を大幅に短縮できます。

強化学習を用いて音楽転記の精度を一段階引き上げたアプローチは非常に手堅く、実用性重視の設計です。複雑なエフェクトが過剰にかかった音色などでは誤認識が残る可能性もありますが、DAWユーザーや耳コピ作業者なら今すぐ試してみる価値のあるオープンモデルといえます。