Mirelo 聯手 Kyutai 開源 MuScriptor：一首歌直接扒出全樂器 MIDI

MuScriptor 是 Mirelo 和 Kyutai 聯合開源的多樂器音訊轉錄模型，論文代號叫 MuScriptor。它的核心功能很簡單：直接吃下一首完整的混音音樂，自動分出人聲、鼓、貝斯、鍵盤等不同樂器，並各自輸出獨立的 MIDI 軌道。

做過扒帶或者編曲的朋友都知道，市面上常見的 Audio-to-MIDI 工具大多隻能伺候單聲部，比如一段清唱、一段吉他獨奏或單純的鋼琴琶音。一旦遇到真實世界裡層層疊疊的完整混音，混著鼓點和混響效果，傳統演算法基本全抓瞎。MuScriptor 想解決的就是這個痛點，不再需要提前分軌（stems），直接從完整音訊解析出所有聲部。

它能做什麼

使用者可以直接上傳一段 WAV 或 MP3 格式的成品音訊。

模型吃進音訊後，會同時識別裡面出場的樂器，並給每種樂器單獨匯出一份 MIDI 檔案。你能拿到乾淨的人聲線、鼓點打擊軌道、低音貝斯以及鍵盤和聲，直接扔進 DAW 宿主軟體做混音或二次創作。

除了輸出基礎音符，它還能識別和絃、調性（key）以及速度節奏（tempo），給製作人還原出更完整的樂理框架。如果你只是想學樂器，它也能把這些資料轉成可供練習的完整樂譜。

它是怎麼做到的

MuScriptor 的底座是一個直截了當的 Decoder-only Transformer，思路是把音樂轉錄當作語言建模來做。

它把 5 秒鐘的音訊塊轉換成梅爾頻譜（mel-spectrogram）作為字首輸入，然後自迴歸生成離散的 Token 序列。這些 Token 按照時間、音高和樂器型別編碼，本質上就像把 MIDI 鋼琴捲簾展成了一維文字。

多樂器扒帶過去之所以難，卡點在於真實世界裡帶精準音符對齊的多樂器標註資料太稀缺。Mirelo 和 Kyutai 採用了三階段訓練法：先用合成數據集 DSynth 做預訓練，接著用真實音樂資料集 DReal 進行微調，最後在高質量資料集 DRL 上用強化學習進行後訓練。

效果非常明顯。團隊表示，單靠合成數據預訓練的模型已經能追平之前的頂尖開源基線 YourMT3+；而在真實資料微調之後，各項指標直接提升了大約 20 個百分點；最後一步強化學習則進一步壓榨出了最佳效能。此外，論文還設計了一個可選的樂器條件機制，允許使用者按特定樂器組合定製輸出。

怎麼跑起來與去哪試

專案已經開源，推理程式碼放在了 GitHub，預訓練模型權重則上傳到了 Hugging Face，相關論文可以在 arXiv 檢視。

如果你不想自己折騰部署環境，Mirelo 還用更多資料訓練了一個精度更高的升級版模型。這個商用版本直接整合到了他們的免費產品 Mirelo Studio 中，支援在線上傳完整音訊並一鍵匯出分軌 MIDI。

為什麼重要

對音樂人和獨立製作人來說，MuScriptor 解決了長期以來扒帶效率低下的痛點。以前取樣一段老唱片或給現有編曲做逆向工程，要先用分軌工具強行剝離人聲和樂器，再用單軌工具一段段轉 MIDI，中間錯漏百出。現在直接給混音就能出分軌 MIDI，二次編曲的門檻被拉低了一大截。

我們認為，將強化學習與語言模型範式引入多樂器轉錄是非常聰明的一步，它讓傳統音訊資訊檢索（MIR）跳出了純規則和簡單合成數據的侷限。不過，現實混音中的極端失真或複雜合成音色依然是這類模型的隱形門檻。但就目前開放出來的程式碼和免費網頁版來看，無論想要快速扒歌還是尋找取樣靈感的創作者，都非常值得立刻上手一試。