Mirelo 联手 Kyutai 开源 MuScriptor：一首歌直接扒出全乐器 MIDI

MuScriptor 是 Mirelo 和 Kyutai 联合开源的多乐器音频转录模型，论文代号叫 MuScriptor。它的核心功能很简单：直接吃下一首完整的混音音乐，自动分出人声、鼓、贝斯、键盘等不同乐器，并各自输出独立的 MIDI 轨道。

做过扒带或者编曲的朋友都知道，市面上常见的 Audio-to-MIDI 工具大多只能伺候单声部，比如一段清唱、一段吉他独奏或单纯的钢琴琶音。一旦遇到真实世界里层层叠叠的完整混音，混着鼓点和混响效果，传统算法基本全抓瞎。MuScriptor 想解决的就是这个痛点，不再需要提前分轨（stems），直接从完整音频解析出所有声部。

它能做什么

用户可以直接上传一段 WAV 或 MP3 格式的成品音频。

模型吃进音频后，会同时识别里面出场的乐器，并给每种乐器单独导出一份 MIDI 文件。你能拿到干净的人声线、鼓点打击轨道、低音贝斯以及键盘和声，直接扔进 DAW 宿主软件做混音或二次创作。

除了输出基础音符，它还能识别和弦、调性（key）以及速度节奏（tempo），给制作人还原出更完整的乐理框架。如果你只是想学乐器，它也能把这些数据转成可供练习的完整乐谱。

它是怎么做到的

MuScriptor 的底座是一个直截了当的 Decoder-only Transformer，思路是把音乐转录当作语言建模来做。

它把 5 秒钟的音频块转换成梅尔频谱（mel-spectrogram）作为前缀输入，然后自回归生成离散的 Token 序列。这些 Token 按照时间、音高和乐器类型编码，本质上就像把 MIDI 钢琴卷帘展成了一维文字。

多乐器扒带过去之所以难，卡点在于真实世界里带精准音符对齐的多乐器标注数据太稀缺。Mirelo 和 Kyutai 采用了三阶段训练法：先用合成数据集 DSynth 做预训练，接着用真实音乐数据集 DReal 进行微调，最后在高质量数据集 DRL 上用强化学习进行后训练。

效果非常明显。团队表示，单靠合成数据预训练的模型已经能追平之前的顶尖开源基线 YourMT3+；而在真实数据微调之后，各项指标直接提升了大约 20 个百分点；最后一步强化学习则进一步压榨出了最佳性能。此外，论文还设计了一个可选的乐器条件机制，允许使用者按特定乐器组合定制输出。

怎么跑起来与去哪试

项目已经开源，推理代码放在了 GitHub，预训练模型权重则上传到了 Hugging Face，相关论文可以在 arXiv 查看。

如果你不想自己折腾部署环境，Mirelo 还用更多数据训练了一个精度更高的升级版模型。这个商用版本直接整合到了他们的免费产品 Mirelo Studio 中，支持在线上传完整音频并一键导出分轨 MIDI。

为什么重要

对音乐人和独立制作人来说，MuScriptor 解决了长期以来扒带效率低下的痛点。以前采样一段老唱片或给现有编曲做逆向工程，要先用分轨工具强行剥离人声和乐器，再用单轨工具一段段转 MIDI，中间错漏百出。现在直接给混音就能出分轨 MIDI，二次编曲的门槛被拉低了一大截。

我们认为，将强化学习与语言模型范式引入多乐器转录是非常聪明的一步，它让传统音频信息检索（MIR）跳出了纯规则和简单合成数据的局限。不过，现实混音中的极端失真或复杂合成音色依然是这类模型的隐形门槛。但就目前开放出来的代码和免费网页版来看，无论想要快速扒歌还是寻找采样灵感的创作者，都非常值得立刻上手一试。